Muse Spark Open'a Hoş Geldiniz: Meta'dan Açık Ağırlıklı, Öncü Çok Modlu Uzmanların Karışımı Modeli

Meta tarafından sunulan açık ağırlıklı yeni model Muse Spark Open, metin, görsel, ses ve videoyu tek bir çatı altında birleştiren devasa bir Uzmanların Karışımı (Mixture of Experts - MoE) mimarisine sahip. Yaklaşık 816 milyar toplam parametreye, token başına aktif ~42 milyar parametreye ve 1 milyon token'a kadar bağlam penceresine (context window) sahip olan bu model, farklı girdi türleri hakkında soru sormak isteyen geliştiricilere ortak bir metin üretim arayüzü sunuyor. Muse Glimmer'ın ardından çok daha büyük ölçekte bir MoE mimarisi getiren Muse Spark Open, bugüne kadarki en yetenekli ABD menşeli açık ağırlıklı model konumunda.

Meta, bu modeli özellikle ajan tabanlı kodlama (agentic coding) için eğitti: bir kod tabanını okuma, kod yazma, hata ayıklama (debugging) ve araç çağırma (tool calling) süreçlerinde doğrudan görev alabiliyor. Üstelik görsel, ses ve video girdilerini kabul ettiği için; kodunuz üzerinde çalışırken aynı anda bir ekran görüntüsünü okuyabilir, sesli notu dinleyebilir veya ekran kaydını izleyebilir. Yazılım geliştirme ve öğrenme açısından bu, hata raporlarını veya UI sorunlarını modele sadece metinle anlatmak yerine doğrudan video ve ekran görüntüsüyle besleyebileceğimiz yeni nesil bir geliştirici deneyimi anlamına geliyor.

Genel Yetenekler ve Mimari#

Meta, Muse Spark Open'ı çoklu dosya yeniden yapılandırmaları (multi-file refactors) ve uzun hata ayıklama oturumları gibi gerçek geliştirici iş akışları üzerinde eğitilmiş, kodlama odaklı bir model olarak tanımlıyor. Model; görsellerle web'de gezinmek dahil olmak üzere uzun görevler boyunca plan yapan, harekete geçen, gözlemleyen ve kendi kendini düzelten (self-correcting) ajan odaklı bir yapı sergiliyor.

Modelin temel teknik özellikleri şunlardır:

• Model boyutu: ~816B toplam parametre; token başına ~42B aktif parametre
• Uzman yönlendirme (Expert routing): MoE katmanı başına 256 uzman; token başına seçilen 8 uzman
• Girdiler: Metin, görsel, ses ve video
• Çıktı: Metin
• Bağlam penceresi: 1M token'a kadar
• Kontrol noktası (Checkpoint) formatları: BF16 ve NVFP4

Model ağırlıkları Muse-Spark-Open-816B-A42B ve Muse-Spark-Open-816B-A42B-NVFP4 depolarında sunuluyor. Muse serisinin tam boyutlu modeli olan Muse Spark Open, ağustos ayında yerel çalıştırma için yayınlanan küçük ve yoğun (dense) Muse Glimmer modeliyle aynı tokenizer ve kelime dağarcığını paylaşıyor. Sohbet şablonu (chat template) da yeni modalite eklemeleriyle birlikte Muse Glimmer şablonunu takip ediyor. Ayrıca modelde girdi gömme (input embedding) ve çıktı katmanları, her biri yaklaşık 1.66 milyar parametreli ayrı matrisler olarak tasarlanmış.

Uzmanların Karışımı (Mixture of Experts)#

Dil modeli 62 katmana ve 8192 gizli boyuta (hidden dimension) sahip. Her katmanda 64 boyutlu 128 sorgu başlığı (query heads) ve 16 anahtar-değer başlığı (grouped-query attention) bulunuyor. Dikkat (attention) bloğunda çıktı kapısı, çıktı normalizasyon katmanı ve sorgu-anahtar normalizasyonu (QK-norm) yer alıyor. Her blok, girdisini ve çıktısını basit bir toplam yerine öğrenilmiş bir kalıntı kapısı (learned residual gate) aracılığıyla birleştiriyor.

Muse Glimmer her katmanda tek bir yoğun ileri beslemeli ağ kullanırken, Muse Spark Open bunu 256 uzmana sahip bir MoE bloğu ile değiştiriyor. Yönlendirici (router) her token için 8 uzman seçiyor. Her uzman, 8192 boyuttan 4096 boyuta ve tekrar 8192 boyuta projeksiyon yapan ve kendi normalizasyonunu uygulayan bir ağdan oluşuyor. Uzmanlar toplam parametrelerin ~%97'sini barındırsa da token başına yalnızca 8 uzman çalıştığı için, geliştiriciler devasa bilgi kapasitesinden çok daha düşük çıkarım (inference) maliyetiyle yararlanabiliyor.