Muse Ember: En Küçük ve En Verimli Modelimiz

Meta, karmaşık akıl yürütme süreçleri ve otonom ajanların (agent) gün boyu tekrarladığı araç çağrıları (tool calls), kodlama alt görevleri, yönlendirme (routing), veri çıkarma ve uzun doküman ayrıştırma işlemleri için tasarlanan en küçük ve en verimli modeli Muse Ember'ı tanıttı. Yazılım geliştiriciler ve sistem mimarları için bu gelişme, yüksek hacimli ajan iş akışlarında maliyet-performans dengesini yeniden tanımlıyor.

Görev Başına Maliyet ve Zeka Karşılaştırması#

Muse Ember, herhangi bir akıl yürütme (reasoning) seviyesinde Claude Haiku 5.5 veya GPT-6 Luna modellerine kıyasla dolar başına daha fazla zeka sunar. Haiku'nun en yüksek skorunu yaklaşık üçte bir maliyetle yakalar ve tüm Luna ayarlarını geride bırakır. Artificial Analysis liderlik tablosunun verimlilik sınırında yer alan modellerin görev başına maliyet ve skor verileri şöyledir:

Muse Ember: Görev başına $0.116 maliyette 33.9 skor; $0.136 maliyette 35.8 skor.
Claude Haiku 5.5: Görev başına $0.092 maliyette 24.6 skor; $0.159 maliyette 29.6 skor; $0.248 maliyette 34.3 skor; $0.411 maliyette 36.2 skor.
GPT-6 Luna: Görev başına $0.073 maliyette 21.4 skor; $0.104 maliyette 23.3 skor; $0.152 maliyette 27.8 skor.

Muse Ember Değerlendirme Sonuçları#

Maksimum (max) ayarlarda Muse Ember, Claude Haiku 5.5 ve GPT-6 Luna karşılaştırması dört ana kategoride incelenmektedir:

1. Ajanlar (Agents)#

AutomationBench-AA (Uçtan uca iş akışları): Muse Ember 37.8 (En iyi sonuç), Haiku 5.5 13.9, GPT-6 Luna 20.2.
Agents' Last Exam (Uçtan uca ajan görevleri): Muse Ember 61.6 (En iyi sonuç), Haiku 5.5 57.0, GPT-6 Luna 57.1.
Personal Superintelligence Index (Kişisel ve bilgi çalışması bileşik endeksi): Muse Ember 46.8 (En iyi sonuç), Haiku 5.5 36.1, GPT-6 Luna 37.0.

2. Kodlama (Coding)#

Terminal-Bench 4.0 (Ajan tabanlı terminal kodlama): Muse Ember 40.9 (En iyi sonuç), Haiku 5.5 39.2, GPT-6 Luna 16.4.
Coding Agent Index-AA (Gerçek ajan koşumlarında kodlama): Muse Ember 46 (En iyi sonuç), Haiku 5.5 37, GPT-6 Luna 31.
FrontierCode 2.0-AA (Birleştirilebilirlik üzerinden değerlendirilen gerçek mühendislik görevleri): Muse Ember 27.2, Haiku 5.5 34.9 (En iyi sonuç), GPT-6 Luna 25.2.

3. Çok Modlu (Multimodal)#

GDP.pdf-AA (Uzun dokümanlar üzerinde profesyonel çalışma): Muse Ember 22.8 (En iyi sonuç), Haiku 5.5 20.8, GPT-6 Luna 22.8 (En iyi sonuç).
OSWorld 2.1 (Masaüstü uygulamalarında bilgisayar kullanımı): Muse Ember 69.5 kısmi / 33.8 ikili (En iyi sonuç), Haiku 5.5 68.9 kısmi / 27.8 ikili, GPT-6 Luna 50.5 kısmi / 17.0 ikili.
PerceptionBench (Araçlarla ince taneli görsel algı): Muse Ember 80.6 (En iyi sonuç), Haiku 5.5 78.6, GPT-6 Luna 62.8.

4. Genel (General)#

Artificial Analysis Index: Muse Ember 36 (En iyi sonuç), Haiku 5.5 36 (En iyi sonuç), GPT-6 Luna 28.

Erişilebilirlik ve Geliştiriciler İçin Pratik Çıkarımlar#

Muse Ember, Meta Model API üzerinden milyon girdi token'ı başına $0.10 ve milyon çıktı token'ı başına $0.50 fiyatlandırmayla kullanıma sunuldu.

Çok Adımlı Ajan Mimarisi: Ajan döngülerinde sürekli tekrarlanan araç çağrıları ve yönlendirme görevlerini Muse Ember gibi küçük modellere devrederek üretim maliyetlerini üçte bire düşürebilirsiniz.
Hibrit Kodlama İş Akışları: Terminal tabanlı otomasyon ve alt görevlerde Muse Ember en yüksek performansı verirken, doğrudan kod birleştirme (mergeability) gerektiren karmaşık mühendislik adımlarında model seçimi görev bazlı optimize edilmelidir.