İki Kez Düşünmek: Metis-1.6 Teknik Raporu ve Mühendislik Dersleri

Büyük dil modelleri (LLM) geliştirirken yalnızca parametre sayısını artırmak yerine; daha kaliteli veri, iyileştirilmiş eğitim yöntemleri ve yenilikçi mimarilerle çok daha düşük maliyetle yüksek verim elde etmek mümkün mü? Metis-1.6 Teknik Raporu, tek bir araştırmacı tarafından sıfırdan geliştirilen iki model üzerinden bu soruya yanıt arıyor ve yazılım mühendisleri için paha biçilmez hata analizleri sunuyor.

Mimari ve Eğitim Yapısı: Her Token İçin İkinci Bir Bakış#

Metis-1.6 ailesi iki temel modelden oluşuyor:

• Praxis: Toplam 2.94 milyar parametre (her geçişte 0.46 milyar aktif parametre).
• Logos: Toplam 10.23 milyar parametre (her geçişte 1.18 milyar aktif parametre).

Her iki model de hibrit Mamba-2 ve Attention Mixture-of-Experts (MoE) yığınını her token için iki kez çalıştırıyor. Böylece model, işlediği her token’a "ikinci bir bakış" atarak derinlik kazanıyor. Modellerin her biri toplam 1.02 trilyon token ile eğitilmiştir:

• 804.76 milyar token ön eğitim (pretraining),
• 18 milyar token bağlam uzunluğunu 131.072 token’a çıkarma (context extension),
• 200 milyar token gözetimli ince ayar (supervised fine-tuning - SFT).

Performans ve Pareto Sınırı: Az Veriyle Yüksek Matematiksel Başarı#

Metis-1.6, devasa sınır (frontier) modellerle yarışmak için tasarlanmamıştır. 40 farklı eğitim sonrası (post-trained) kıyaslama testinde Logos, 52.93 ortalama puanla 17 model arasında 7. sırada yer alarak Qwen3-4B modeline bir puan kadar yaklaşmıştır. Ancak asıl mühendislik başarısı verimliliktedir:

• Rakiplerinin açıkladığı medyan eğitim verisinin yaklaşık on ikide biri kadar veri kullanmıştır.
• Kendisini geçen tüm modellerden token başına daha az aktif parametre çalıştırarak hem veri hem de aktif parametre açısından Pareto sınırına (Pareto frontier) yerleşmiştir.
• Matematik alanında 30 model arasında 2. sıraya yerleşerek AIME 2025 testinde %67.50, HMMT Şubat 2026 testinde ise %63.64 başarı elde etmiştir.
• Buna karşın model; kod yazma, talimat takibi (instruction following) ve uzun bağlam (long context) görevlerinde zayıf kalmıştır.

Neler Yanlış Gitti? Geliştiriciler İçin Pratik Çıkarımlar#

Raporun yazılım geliştirme ve makine öğrenmesi mühendisliği açısından en değerli kısmı, eğitim sürecinde yapılan hataların şeffaf analizidir:

• Yapılandırma Doğrulaması: Araştırmacının özel olarak yapılandırdığı optimizer hiç devreye girmemiş ve tüm ön eğitim boyunca attention katmanları varsayılan AdamW ile eğitilmiştir. Çıkarım: Eğitim boru hatlarında (pipeline) konfigürasyonların gerçekten aktif olduğunu doğrulayan birim testleri ve telemetri kontrolleri şarttır.
• Atıl Kapasite Tuzağı: 1.77 milyar parametrelik n-gram bellek modülü, eğitim sırasında kendisini tamamen kapatmayı öğrenmiştir. Çıkarım: Karmaşık mimari bileşenler eklenirken gradyan akışı ve modül aktivasyonları yakından izlenmelidir.
• İnce Ayar Kayıpları: Gözetimli ince ayar (SFT) aşamasındaki beş farklı tasarım tercihi modelin mevcut yeteneklerini geriletmiştir.
• Ödül Fonksiyonu İşaret Tersinmesi (Sign Inversion): Grup ortalaması normalizasyonu (group-mean normalization) altındaki uzunluk ödülü, bir grubun başarı oranı 2/3'ü geçtiğinde doğru ama uzun çözümleri cezalandırmaya başlamıştır. Araştırmacı bu matematiksel işaret tersinmesini kanıtlamış ve tek satırlık bir sınırlama (clamp) koduyla düzeltmiştir. Çıkarım: Pekiştirmeli öğrenme (RL) ödül fonksiyonları uç durumlar (edge-case) için matematiksel olarak test edilmelidir.

Rapor, serinin bir sonraki adımı olan Metis-1.7'nin döngüsel mimarisi MoRE (Mixture of Recursive Experts) arkasındaki 10 milyar token’lık ablasyon çalışmalarıyla sona ermektedir.