YuE2 · Sembolik Planlama ile Müzik Üretiminde Yeni Sınır

1. YuE2: Sembolik Planlama ile Üretken Müzik

M·A·P, Tokenwave.AI, MBZUAI ve ACE STUDIO ortaklığıyla Eylül 2026'da duyurulan YuE2, sembolik müzik planlaması ile ses sentezini tek bir modelde birleştiriyor. Uçtan uca ses üreten kara kutu modellerin aksine YuE2; önce düzenlenebilir bir nota planı (sembolik skor) kurguluyor, ardından vokal ve enstrümantasyonu hayata geçirerek Suno v5 ile yarışan bir prodüksiyon kalitesi sunuyor.

2. Notalardan Şarkıya (From Score to Song)

Model; melodi, ritim ve akorları sembolik planda ayrıştırır. Ham ABC notasyonu, şarkı sözleri ve stil istemleri etkileşimli bir nota sayfası üzerinden görselleştirilir. Geliştiriciler açısından bu, üretilen müzikal yapının deterministik biçimde incelenmesini, test edilmesini ve doğrudan kod üzerinden düzenlenebilmesini mümkün kılar.

3. Cover ve Düzenleme (Cover & Editing)

Müzikal Esneklik: Mevcut bir parçanın melodisi, sözleri, temposu ve aranjmanı modüler olarak dönüştürülebilir.
Ajan Tabanlı Düzenleme (Agentic Music Editing): Beste, kullanıcıyla model arasındaki çok turlu diyalogla şekillenir. Bu yapı, LLM tabanlı ajanların yaratıcı medya iş akışlarında kontrol edilebilir ortaklar olarak çalışabileceğini somutlaştırır.

4. Tür Keşfi (Genre Explorer)

Farklı müzik türleri ve dillerde geniş bir katalog sunan sistem; doğrudan ses üretimi ile sembolik planlama destekli üretimi kıyaslama imkânı verir. Yazılım mimarisi açısından bu ayrım, ara soyutlama katmanlarının çıktı tutarlılığına katkısını açıkça gösterir.

5. Model ve Sonuçlar (Model & Results)

WildSongBench (192 istem, 15 sistem ayarı) değerlendirmesinde YuE2 (best-of-8), 6.9632 ortalama SongBench skoruna ulaşarak Suno v5'i (6.8721) geride bırakmıştır. Model; şarkı kalitesi, metin uyumu ve AudioBox üretim kalitesinde (PQ) Pareto sınırında yer alır.

6. Model Mimarisi (Model Architecture)

Sembollerle besteleyip sesle icra eden model, 3.59B parametre ve 28 katmandan oluşur:

Düzenlenebilir nota planı; semantik müzik token'larına, akustik gizil (latent) uzaya ve nihai ses dalgasına dönüştürülür.
Otokorelatif (AR) ve otokorelatif olmayan (NAR) uzmanlar dikkat (attention) hesaplamasını paylaşırken; normalizasyon, projeksiyon ve MLP katmanlarını ayrıştırarak çıkarım maliyetini optimize eder.

7. Kıyaslama Skorları (Explore Benchmark Scores)

WildSongBench üzerindeki testler 7 metrik üzerinden otomatik yürütülür. Çıkarım esnasında uygulanan Best-of-8 (Bo8) stratejisi; müzikalite, istem kontrolü ve söz doğruluğuna göre en uygun adayı seçerek üretim kararlılığını artırır.

8. MERT2: Müzik Temsilleri (Music Representations)

YuE2'nin arkasındaki analiz ve üretim omurgasını MERT2 oluşturur. ConvNeXt ön ucu ve 24 katmanlı Conformer mimarisi, MuQ ve Qwen2-Audio özelliklerinden maskelenmiş kodları tahmin eder. Tam şarkı kolu (MERT2-FS) SheetSage2'ye müzikal bağlam sağlarken; nedensel kol, YuE2'nin 25-Hz semantik tokenizer'ı olarak görev yapar.

9. MARBLE Üzerinde SOTA Başarımı

MERT2 modelleri, MARBLE kıyaslamasında 15 metriğin 14'ünde SOTA seviyesine ulaşmıştır. GTZAN tür doğruluğunda 91.72, GiantSteps ton doğruluğunda ise 67.0 skorlarıyla müzikal etiketleme ve duygu analizinde yeni bir standart belirlemiştir.

Orijinal kaynağa buradan ulaşabilirsiniz.