---
title: "İki Kez Düşünmek: Metis-1.6 Teknik Raporu ve Mühendislik Dersleri"
url: https://blog.edumints.com/iki-kez-dusunmek-metis-1-6-teknik-raporu-ve-muhendislik-dersleri
category: "LLM"
date: 2026-11-02T15:06:06.547Z
publisher: Edumints Blog
lang: tr-TR
source_name: "Hugging Face Papers"
source_url: https://huggingface.co/papers/2610.37903
---

# İki Kez Düşünmek: Metis-1.6 Teknik Raporu ve Mühendislik Dersleri

Büyük dil modelleri (LLM) geliştirirken yalnızca parametre sayısını artırmak yerine; daha kaliteli veri, iyileştirilmiş eğitim yöntemleri ve yenilikçi mimarilerle çok daha düşük maliyetle yüksek verim elde etmek mümkün mü? **Metis-1.6 Teknik Raporu**, tek bir araştırmacı tarafından sıfırdan geliştirilen iki model üzerinden bu soruya yanıt arıyor ve yazılım mühendisleri için paha biçilmez hata analizleri sunuyor.

## Mimari ve Eğitim Yapısı: Her Token İçin İkinci Bir Bakış

Metis-1.6 ailesi iki temel modelden oluşuyor:
- **Praxis:** Toplam 2.94 milyar parametre (her geçişte 0.46 milyar aktif parametre).
- **Logos:** Toplam 10.23 milyar parametre (her geçişte 1.18 milyar aktif parametre).

Her iki model de **hibrit Mamba-2 ve Attention Mixture-of-Experts (MoE)** yığınını her token için **iki kez** çalıştırıyor. Böylece model, işlediği her token’a "ikinci bir bakış" atarak derinlik kazanıyor. Modellerin her biri toplam **1.02 trilyon token** ile eğitilmiştir:
- **804.76 milyar token** ön eğitim (pretraining),
- **18 milyar token** bağlam uzunluğunu 131.072 token’a çıkarma (context extension),
- **200 milyar token** gözetimli ince ayar (supervised fine-tuning - SFT).

## Performans ve Pareto Sınırı: Az Veriyle Yüksek Matematiksel Başarı

Metis-1.6, devasa sınır (frontier) modellerle yarışmak için tasarlanmamıştır. 40 farklı eğitim sonrası (post-trained) kıyaslama testinde **Logos**, 52.93 ortalama puanla 17 model arasında 7. sırada yer alarak **Qwen3-4B** modeline bir puan kadar yaklaşmıştır. Ancak asıl mühendislik başarısı verimliliktedir:
- Rakiplerinin açıkladığı medyan eğitim verisinin yaklaşık **on ikide biri** kadar veri kullanmıştır.
- Kendisini geçen tüm modellerden **token başına daha az aktif parametre** çalıştırarak hem veri hem de aktif parametre açısından **Pareto sınırına (Pareto frontier)** yerleşmiştir.
- **Matematik alanında** 30 model arasında 2. sıraya yerleşerek **AIME 2025** testinde **%67.50**, **HMMT Şubat 2026** testinde ise **%63.64** başarı elde etmiştir.
- Buna karşın model; **kod yazma**, **talimat takibi (instruction following)** ve **uzun bağlam (long context)** görevlerinde zayıf kalmıştır.

## Neler Yanlış Gitti? Geliştiriciler İçin Pratik Çıkarımlar

Raporun yazılım geliştirme ve makine öğrenmesi mühendisliği açısından en değerli kısmı, eğitim sürecinde yapılan hataların şeffaf analizidir:
- **Yapılandırma Doğrulaması:** Araştırmacının özel olarak yapılandırdığı optimizer hiç devreye girmemiş ve tüm ön eğitim boyunca attention katmanları varsayılan **AdamW** ile eğitilmiştir. *Çıkarım:* Eğitim boru hatlarında (pipeline) konfigürasyonların gerçekten aktif olduğunu doğrulayan birim testleri ve telemetri kontrolleri şarttır.
- **Atıl Kapasite Tuzağı:** 1.77 milyar parametrelik **n-gram bellek** modülü, eğitim sırasında kendisini tamamen kapatmayı öğrenmiştir. *Çıkarım:* Karmaşık mimari bileşenler eklenirken gradyan akışı ve modül aktivasyonları yakından izlenmelidir.
- **İnce Ayar Kayıpları:** Gözetimli ince ayar (SFT) aşamasındaki beş farklı tasarım tercihi modelin mevcut yeteneklerini geriletmiştir.
- **Ödül Fonksiyonu İşaret Tersinmesi (Sign Inversion):** Grup ortalaması normalizasyonu (group-mean normalization) altındaki uzunluk ödülü, bir grubun başarı oranı **2/3'ü geçtiğinde** doğru ama uzun çözümleri cezalandırmaya başlamıştır. Araştırmacı bu matematiksel işaret tersinmesini kanıtlamış ve **tek satırlık bir sınırlama (clamp)** koduyla düzeltmiştir. *Çıkarım:* Pekiştirmeli öğrenme (RL) ödül fonksiyonları uç durumlar (edge-case) için matematiksel olarak test edilmelidir.

Rapor, serinin bir sonraki adımı olan **Metis-1.7**'nin döngüsel mimarisi **MoRE (Mixture of Recursive Experts)** arkasındaki 10 milyar token’lık ablasyon çalışmalarıyla sona ermektedir.

[](https://huggingface.co/papers/2610.37903)

---

**Kaynak:** Hugging Face Papers (https://huggingface.co/papers/2610.37903)
**Yayıncı:** [Edumints Blog](https://blog.edumints.com) · Alıntılarken bu URL'ye bağlantı verin: https://blog.edumints.com/iki-kez-dusunmek-metis-1-6-teknik-raporu-ve-muhendislik-dersleri