---
title: "Doğru Yapılan Çoklu Token Tahmini (Soft-MTP)"
url: https://blog.edumints.com/dogru-yapilan-coklu-token-tahmini-soft-mtp
category: "LLM"
date: 2026-10-30T09:04:57.252Z
publisher: Edumints Blog
lang: tr-TR
source_name: "Hugging Face Papers"
source_url: https://huggingface.co/papers/2610.38331
---

# Doğru Yapılan Çoklu Token Tahmini (Soft-MTP)

## Çoklu Token Tahmini (MTP) ve Standart Eğitimdeki Kusur

**Çoklu Token Tahmini (Multi-Token Prediction - MTP)**, günümüzde büyük dil modellerinin (LLM) ön eğitim süreçlerinde yaygın olarak kullanılan temel bir bileşen haline gelmiştir. Hem alt görev (downstream) performansını artırması hem de **spekülatif kod çözme (speculative decoding)** yoluyla çok daha hızlı çıkarım (inference) sağlaması, onu modern model mimarileri için vazgeçilmez kılmaktadır. Ancak standart MTP eğitiminde ölçek büyüdükçe derinleşen kritik bir kusur bulunmaktadır: MTP gradyanının artık (residual) bir bileşeni, hem sıradaki token (next-token) hem de çoklu token öğrenme süreçleriyle çakışarak eğitimi olumsuz etkiler.

Matematiksel olarak MTP çapraz entropi (cross-entropy) gradyanı tam olarak iki bileşene ayrıştırılabilir:
- Her bir MTP başlığını (head) modelin kendi **Sıradaki Token Tahmini (NTP)** dağılımına çeken ve spekülatif kod çözmeyi doğrudan iyileştiren bir **KL öz-damıtma (self-distillation)** terimi.
- Düşük sinyal-gürültü oranına (SNR) sahip olan ve faydalı KL sinyalini gölgeleyerek baskılayan gürültülü bir **artık (residual)** terim.

## KL Gradyan Geri Kazanım Hilesi ve Soft-MTP

Bu sorunu çözmek için **KL gradyan geri kazanım hilesi (KL gradient-recovery trick)** geliştirilmiştir. İki olasılık dağılımı doğrusal bir çıktı başlığını paylaştığında, aralarındaki KL ıraksamasının (divergence) gradyanı, çapraz entropi gradyanlarının **doğrudan geçişli gradyan yönlendirmesi (straight-through gradient routing)** ile birleştirilmesiyle tam olarak geri kazanılabilir. Doğrudan KL ıraksamasını minimize etmenin aksine bu yöntem:
- Kelime dağarcığı (vocabulary) boyutunda devasa logit matrislerinin bellekte tutulmasını gerektirmez.
- Standart birleştirilmiş (fused) çapraz entropi çekirdekleriyle (kernels) tamamen uyumludur.

Bu teknik sayesinde ortaya çıkan **Yumuşak Çoklu Token Tahmini (Soft-MTP)**, standart MTP'de yalnızca **tek satırlık bir kod değişikliği** gerektirir. Gürültülü artık bileşeni tamamen ortadan kaldırır ve mevcut NTP ile MTP çapraz entropi hesaplamalarını yeniden kullanarak geriye yalnızca temiz KL öz-damıtma sinyalini yayar (backpropagate).

## Ölçeklenebilirlik, Performans ve Pratik Çıkarımlar

167 milyon (167M) ile 1.2 milyar (1.2B) parametre arasındaki modellerde yapılan deneyler, Soft-MTP'nin standart MTP'ye kıyasla sunduğu somut avantajları kanıtlamaktadır:
- Her ölçekte daha düşük NTP şaşkınlığı (perplexity), daha hızlı spekülatif kod çözme ve daha yüksek sıfır-atış (zero-shot) doğruluk oranı sağlar.
- 689M parametreden itibaren daha düşük MTP şaşkınlığı ve 1.2B ölçeğinde ince ayar (fine-tuning) sonrasında çok daha güçlü matematik ve kod akıl yürütme (reasoning) performansı sunar.
- Çoğu metrikte doğrudan KL ıraksaması minimizasyonunu yakalar veya geride bırakır.

**Yazılım Geliştirme ve Mühendislik Açısından Çıkarımlar:**
- **Maliyetsiz Optimizasyon (Free Lunch):** Soft-MTP hem **DeepSeek** hem de **Meta** tarzı MTP mimarilerini destekler, modele ekstra parametre eklemez ve ölçülebilir hiçbir hesaplama ek yükü (overhead) yaratmaz.
- **Bellek ve Kernel Verimliliği:** Büyük ölçekli model eğitimi (**Megatron-LM ile Büyük Model Eğitimi** veya **PyTorch FSDP2** gibi dağıtık yapılar) sırasında bellek darboğazına yol açan logit matrislerini oluşturmadan fused kernel uyumluluğunu korumak, donanım verimliliği açısından büyük bir mühendislik kazanımıdır.
- **Pratik Entegrasyon:** Karmaşık mimari değişiklikler yerine gradyan yönlendirmesine dayalı tek satırlık müdahaleler, üretimdeki **Ölçeklendirme ve Optimizasyon** süreçlerinde en yüksek yatırım getirisini sağlar. Araştırmacılar açık kaynaklı kodlara `https://github.com/JaydenTeoh/Soft-MTP` adresinden erişebilir.

---

**Kaynak:** Hugging Face Papers (https://huggingface.co/papers/2610.38331)
**Yayıncı:** [Edumints Blog](https://blog.edumints.com) · Alıntılarken bu URL'ye bağlantı verin: https://blog.edumints.com/dogru-yapilan-coklu-token-tahmini-soft-mtp