YuE2-3B: Açık Kaynaklı, Ajan Destekli ve Düzenlenebilir Müzik Üretimi

Model Özeti ve Başarım Kriterleri

Hugging Face üzerinde öne çıkan m-a-p/YuE2-3B (2.304 indirme, 344 beğeni); safetensors formatında, sembolik planlama ve ajan tabanlı düzenleme yeteneklerine sahip açık kaynaklı bir metinden sese müzik üretim modelidir. Sistem; şarkı sözlerini ve stil komutlarını vokalli ve enstrümanlı eksiksiz parçalara dönüştürürken melodiyi ve akorları düzenlenebilir notalar üzerinden kontrol etmeye olanak tanır:

WildSongBench Başarımı: 192 test prompt'u üzerinden yapılan 12 Eylül 2026 tarihli 17 farklı senaryo karşılaştırmasında YuE2 (best-of-8), 6.9632 SongBench puanıyla Suno v5 (6.8721), Suno v6 (6.5562) ve Suno v6 Wild (6.4195) gibi tescilli kapalı modelleri geride bırakmıştır.
Sembolik Planlama: Üretim sürecinde sembolik planlama altyapısı kullanarak hem metin-şarkı uyumunda hem de müzikal tutarlılıkta yüksek başarım sunar.

Temel Yetenekler ve Mimari Altyapı

Geliştiricilere kapsamlı bir müzik kompozisyonu denetimi sağlayan YuE2-3B, dört temel yetenek sunar:

Beste ve Düzenleme: Melodi + akor, yalnızca melodi veya doğrudan üretim modlarını destekler; kullanıcılar kendi ABC nota formatlarını sisteme dahil edebilir.
Ajan Tabanlı Düzenleme (Agentic Edit): Doğal dildeki müzikal geri bildirimleri nota, stil ve söz revizyonlarına dönüştürerek iteratif olarak yeni versiyonlar üretir.
Yerel Çalıştırma: 24GB BF16 destekli GPU üzerinde kuantizasyona ihtiyaç duymadan 48 kHz stereo ses üretimi gerçekleştirir.
Geliştirici Odaklı Entegrasyon: Hugging Face entegrasyonu, metin yönlendirmesi (CFG) ile ayrık planlama ve sentez API'leri sağlar.

Modelin temelinde tek bir AR–NAR Mixture-of-Transformers omurgası yer alır. Bu omurga önce notaları ve anlamsal token'ları yazar, ardından flow matching tekniğiyle akustik latent'leri üretir. Son aşamada ise YuE2-Vae, bu latent'leri yüksek kaliteli stereo sese dönüştürür.

Öne Çıkan Demolar

Metinden Müziğe (Text-to-Music): Cyber Metal (İngilizce, 5:00), 今晚不眠 (Mandarin funk / nu-disco, 3:24) ve Passion (İngilizce rock, 3:55).
Cover Parçalar: Auld Lang Syne (Caz-funk, 3:10), 最炫民族风 (Ballad, 4:45) ve Jingle Bells (Heavy metal, 1:09).
Ajanlı Düzenleme: The Last Train parçası; 9 adım ve 14 versiyonluk bir süreçte Mandarin pop türünden saksafon sololu modern bir İngilizce caz eserine dönüştürülmüştür.

Hızlı Başlangıç ve Entegrasyon

Model; Linux, Python 3.10+ ve 24GB VRAM gereksinimiyle doğrudan Hugging Face üzerinden kurulup çalıştırılabilir:

from pathlib import Path
import json
from huggingface_hub import hf_hub_download
from yue2 import YuE2Pipeline

pipe = YuE2Pipeline.from_pretrained("m-a-p/YuE2-3B", device="cuda")
prompt_path = hf_hub_download("m-a-p/YuE2-3B", "examples/tonight-awake.json")
demo = json.loads(Path(prompt_path).read_text(encoding="utf-8"))

song = pipe(style=demo["style"], lyrics=demo["lyrics"], cot="full", seed=demo["seed"])
song.save("song.flac")
song.save_artifacts("ou")

Yazılım Geliştirme Açısından Pratik Çıkarımlar

YuE2-3B, ses sentezini kara kutu olmaktan çıkarıp sembolik planlama ve CoT (Chain-of-Thought) aşamalarına bölerek yazılımcılara programatik kontrol kazandırır. Ayrı planlama ve sentez uçları, çok adımlı yapay zekâ ajanları kurarak müzik prodüksiyonunu kodla yönetmek isteyen geliştiriciler için esnek bir temel sunar.

Orijinal kaynağa buradan ulaşabilirsiniz.

Bu konuyu derinlemesine öğrenmek isterseniz: Modeller: Hangisi, Ne Zaman? modülüne göz atın.