Doğru Yapılan Çoklu Token Tahmini (Soft-MTP)

Çoklu Token Tahmini (MTP) ve Standart Eğitimdeki Kusur#

Çoklu Token Tahmini (Multi-Token Prediction - MTP), günümüzde büyük dil modellerinin (LLM) ön eğitim süreçlerinde yaygın olarak kullanılan temel bir bileşen haline gelmiştir. Hem alt görev (downstream) performansını artırması hem de spekülatif kod çözme (speculative decoding) yoluyla çok daha hızlı çıkarım (inference) sağlaması, onu modern model mimarileri için vazgeçilmez kılmaktadır. Ancak standart MTP eğitiminde ölçek büyüdükçe derinleşen kritik bir kusur bulunmaktadır: MTP gradyanının artık (residual) bir bileşeni, hem sıradaki token (next-token) hem de çoklu token öğrenme süreçleriyle çakışarak eğitimi olumsuz etkiler.

Matematiksel olarak MTP çapraz entropi (cross-entropy) gradyanı tam olarak iki bileşene ayrıştırılabilir:

• Her bir MTP başlığını (head) modelin kendi Sıradaki Token Tahmini (NTP) dağılımına çeken ve spekülatif kod çözmeyi doğrudan iyileştiren bir KL öz-damıtma (self-distillation) terimi.
• Düşük sinyal-gürültü oranına (SNR) sahip olan ve faydalı KL sinyalini gölgeleyerek baskılayan gürültülü bir artık (residual) terim.

KL Gradyan Geri Kazanım Hilesi ve Soft-MTP#

Bu sorunu çözmek için KL gradyan geri kazanım hilesi (KL gradient-recovery trick) geliştirilmiştir. İki olasılık dağılımı doğrusal bir çıktı başlığını paylaştığında, aralarındaki KL ıraksamasının (divergence) gradyanı, çapraz entropi gradyanlarının doğrudan geçişli gradyan yönlendirmesi (straight-through gradient routing) ile birleştirilmesiyle tam olarak geri kazanılabilir. Doğrudan KL ıraksamasını minimize etmenin aksine bu yöntem:

• Kelime dağarcığı (vocabulary) boyutunda devasa logit matrislerinin bellekte tutulmasını gerektirmez.
• Standart birleştirilmiş (fused) çapraz entropi çekirdekleriyle (kernels) tamamen uyumludur.

Bu teknik sayesinde ortaya çıkan Yumuşak Çoklu Token Tahmini (Soft-MTP), standart MTP'de yalnızca tek satırlık bir kod değişikliği gerektirir. Gürültülü artık bileşeni tamamen ortadan kaldırır ve mevcut NTP ile MTP çapraz entropi hesaplamalarını yeniden kullanarak geriye yalnızca temiz KL öz-damıtma sinyalini yayar (backpropagate).

Ölçeklenebilirlik, Performans ve Pratik Çıkarımlar#

167 milyon (167M) ile 1.2 milyar (1.2B) parametre arasındaki modellerde yapılan deneyler, Soft-MTP'nin standart MTP'ye kıyasla sunduğu somut avantajları kanıtlamaktadır:

• Her ölçekte daha düşük NTP şaşkınlığı (perplexity), daha hızlı spekülatif kod çözme ve daha yüksek sıfır-atış (zero-shot) doğruluk oranı sağlar.
• 689M parametreden itibaren daha düşük MTP şaşkınlığı ve 1.2B ölçeğinde ince ayar (fine-tuning) sonrasında çok daha güçlü matematik ve kod akıl yürütme (reasoning) performansı sunar.
• Çoğu metrikte doğrudan KL ıraksaması minimizasyonunu yakalar veya geride bırakır.

Yazılım Geliştirme ve Mühendislik Açısından Çıkarımlar:

• Maliyetsiz Optimizasyon (Free Lunch): Soft-MTP hem DeepSeek hem de Meta tarzı MTP mimarilerini destekler, modele ekstra parametre eklemez ve ölçülebilir hiçbir hesaplama ek yükü (overhead) yaratmaz.
• Bellek ve Kernel Verimliliği: Büyük ölçekli model eğitimi (Megatron-LM ile Büyük Model Eğitimi veya PyTorch FSDP2 gibi dağıtık yapılar) sırasında bellek darboğazına yol açan logit matrislerini oluşturmadan fused kernel uyumluluğunu korumak, donanım verimliliği açısından büyük bir mühendislik kazanımıdır.
• Pratik Entegrasyon: Karmaşık mimari değişiklikler yerine gradyan yönlendirmesine dayalı tek satırlık müdahaleler, üretimdeki Ölçeklendirme ve Optimizasyon süreçlerinde en yüksek yatırım getirisini sağlar. Araştırmacılar açık kaynaklı kodlara https://github.com/JaydenTeoh/Soft-MTP adresinden erişebilir.