Büyük Dil Modellerinin Pekiştirmeli Öğrenmesinde Eğitim-Çıkarım Uyuşmazlığının Kökeni ve Evrimi

Eğitim ve Çıkarım Arasındaki Gizli Boşluk#

Büyük dil modelleri (LLM) için politika içi (on-policy) pekiştirmeli öğrenme (RL), eğitim yanıtlarının doğrudan mevcut politikadan örneklendiğini varsayar. Ancak gerçek dünya yazılım ve sistem mimarilerinde işler farklı yürür: yüksek hızlı bir çıkarım motoru (inference engine) yanıtları örneklerken, ayrı bir eğitici (trainer) gradyanları hesaplar. Bu iki bileşen arasındaki eğitim-çıkarım uyuşmazlığı (training-inference mismatch), eğitim verisini istemeden politika dışı (off-policy) hale getirir.

Bu uyuşmazlığın iki temel kaynağı vardır ve bir kaynağı stabilize eden düzeltme diğerinde başarısız olabilir:

• Çıkarım motorunun sayısal farklılıkları (numerical discrepancy): Donanım ve çekirdek (kernel) düzeyindeki hesaplama farklarından kaynaklanır.
• Asenkron örneklemeden kaynaklanan eski ağırlıklar (stale weights / policy lag): Eğiticinin ağırlıkları güncellenirken örnekleyicinin geride kalmasıyla oluşur.

Hata Kaynaklarının Ayrıştırılması ve Evrimi#

Eğiticiyi örnekleyicinin ağırlıklarında değerlendirmek, örneklenen her bir token hatasını tam olarak iki bileşene ayırır: motorun sayısal tutarsızlığı ve eğiticinin politika gecikmesi (policy lag). Araştırma, eğitim boyunca her iki bileşeni de adım adım takip etmektedir:

• Sayısal Tutarsızlık Sabit Kalır: Çıkarım motorunun sayısal farkı eğitim süresince yaklaşık olarak sabit seyreder ve güncellemeleri neredeyse sabit bir miktarda saptırır (bias). Her önekte (prefix) skoru merkezlemek (centering), bu önde gelen sapmayı ortadan kaldırır.
• Politika Gecikmesi Geri Besleme Döngüsü Yaratır: Politika gecikmesi bizzat eğiticinin kendi güncellemeleri tarafından üretilir. Bıraktığı sapma bir sonraki güncellemeye dahil olur, bu da bir sonraki gecikmeyi büyütür ve tehlikeli bir geri besleme döngüsü (feedback loop) oluşturur.
• Önem Ağırlıklandırmasının (Importance Weighting) Sınırı: Önem ağırlıklandırması bu döngüyü yalnızca gecikme oranı (lag ratio) yoğunlaştığı sürece kesebilir. Qwen3-1.7B modelinde yapılan deneylerde, oranın etkin örneklem büyüklüğü (effective sample size - ESS) yarının (0.5) altına düştüğü adımda bu yöntemin çöktüğü görülmüştür.

Çözüm: Tutarsızlık-Gecikme Düzeltmesi (DLC)#

Bu analizden yola çıkılarak Tutarsızlık-Gecikme Düzeltmesi (Discrepancy-Lag Correction - DLC) yöntemi geliştirilmiştir. DLC üç temel mekanizmayı birleştirir:

• Sayısal tutarsızlığı merkezleyerek sabit sapmayı giderir.
• Gecikme oranını örnekleyicinin ağırlıklarına göre kırpar (clipping).
• Etkin örneklem büyüklüğü (ESS) yarının altına düştüğünde örnekleyiciyi yeniden senkronize eder (resynchronization).

Eski (stale) bir örnekleyici altında DLC, Qwen3-0.6B ve Qwen3-1.7B modellerinde politika içi eğitimden olan KL ıraksamasını (KL divergence), iki bağımsız politika içi eğitim arasındaki KL değerinin iki katı sınırları içinde tutmayı başarır. Ayrıca yeniden senkronizasyon mekanizması, token bazlı düzeltmelerin kaçırdığı ve örnekleyici öneklerinde ölçülen KL değerinin tespit edemediği eğitim çökmelerini önler.

Mühendislik ve Öğrenme Açısından Pratik Çıkarımlar#

Dağıtık model eğitimi (Megatron-LM ile Büyük Model Eğitimi, PyTorch FSDP2: Modern Sharding API) ve yüksek performanslı çıkarım sistemleri kurgulayan mühendisler için bu bulgular kritik dersler içerir:

• Gözlemlenebilirlik Şarttır: Sadece standart KL ıraksamasını izlemek eğitim çöküşlerini yakalamak için yeterli değildir; üretim ve eğitim hatlarında Etkin Örneklem Büyüklüğü (ESS) aktif bir metrik olarak takip edilmelidir.
• Dinamik Senkronizasyon: Sabit aralıklarla ağırlık kopyalamak yerine, ESS eşiğine (< 0.5) dayalı dinamik senkronizasyon hem sistem darboğazlarını azaltır hem de eğitimi kararlı tutar.
• Donanım ve Nümerik Farkındalık: Eğitim ve çıkarım motorları arasındaki düşük seviyeli kayan nokta (floating-point) farkları bile RL süreçlerinde birikimli sapmalara yol açabilir; skor merkezleme gibi basit matematiksel müdahaleler büyük mimari sorunları önler.