SFT İçin Token Ağırlıklandırmasını Yeniden Düşünmek: Öğrenilen Özellikleri Bastırma, Tersine Çevirme ve Dışdeğerleme

Denetimli İnce Ayarın (SFT) Temel Sorunu#

Büyük dil modellerinde denetimli ince ayar (Supervised Fine-Tuning - SFT), modelin gerçekleşme olasılığını en düşük gördüğü token'lardan en agresif biçimde öğrenir. Bu mekanizma modele yeni davranışlar kazandırırken; gürültülü veya çelişkili denetim verilerini büyüterek modelin önceden eğitilmiş faydalı temel bilgilerini ezmesine (overwriting) ve unutmasına neden olur.

Mevcut Token Ağırlıklandırma Yöntemlerinin Sınırları#

Birleşik bir ilke kaybı (policy-loss) perspektifinden bakıldığında, mevcut token ağırlıklandırma teknikleri şu temel engellere takılmaktadır:

Zararlı Özelliklerin Tersine Çevrilememesi: Mevcut yöntemler örnek token'lara negatif olmayan katsayılar atar. Bu durum güncellemeleri bastırabilir veya güçlendirebilir; ancak zararlı özellikler bir kez öğrenildiğinde bunları tersine çeviremez.
Yörünge Sapması ve Dışdeğerleme Eksikliği: Eğitim ağırlıklarını artırmak, sabit bir SFT yönünü ölçeklemek yerine optimizasyon yörüngesini değiştirdiğinden gerçek bir özellik dışdeğerlemesi (extrapolation) sağlamaz.
Sabit Referans Çerçevesi Gereksinimi: Özellikleri başarıyla tersine çevirmek ve dışdeğerlemek, sabit bir SFT farkı (delta) ile tanımlanmış kararlı bir referans çerçevesi gerektirir.

SCALE: Entropi Rehberliğinde Seçici Adaptasyon Kontrolü#

Bu sınırları aşmak için SCALE (Selective Control of Adaptation via Local Entropy) yöntemi önerilmektedir:

Dondurulmuş Çekirdek ve SFT Deltası: Taban modeli ve SFT ile öğrenilen parametre farkını (delta) dondurarak kararlı bir referans oluşturur.
Entropi Minimizasyonu ile Kapılama: Yalnızca tahmin entropisini en aza indirerek sınırlı token ve modüle özgü kapılar (gates) eğitir.
Seçici Özellik Kontrolü: Bu kapılar, dondurulmuş SFT özelliklerini entropi azaltımıyla olan uyumlarına göre bastırır, tersine çevirir veya dışdeğerler.

Deneysel Sonuçlar ve Başarı Metrikleri#

SCALE mimarisi, farklı ölçekteki açık kaynaklı modellerde test edilerek üstün sonuçlar vermiştir:

Matematiksel Akıl Yürütme: Qwen2.5-Math-1.5B üzerinde 37.84, Qwen2.5-Math-7B üzerinde 43.60 ve Qwen3-4B-Base üzerinde 36.57 ortalama skor elde ederek en güçlü temel modelleri geride bırakmış, genel bilgi koruma testlerinde rekabetçi kalmıştır.
Kod Üretimi: HumanEval, HumanEval+ ve MBPP kıyaslama setlerinde test edilen üç model için de en yüksek ortalama kod üretim performansına ulaşmıştır.

Yazılım Geliştiriciler İçin Pratik Çıkarımlar#

Kalıntı Dinamiklerinin Yönetimi: İnce ayar süreçlerinde hataları gidermek için modeli sıfırdan yeniden eğitmek yerine, öğrenilmiş artık vektörlerin (residuals) kullanımını kontrol etmek hem hesaplama maliyetini düşürür hem de daha kararlı sonuçlar üretir.
Çıkarım ve Entegrasyon Kolaylığı: Modellerin halüsinasyon veya istenmeyen davranışlarını düzeltirken yerel tahmin entropisini bir denetim sinyali olarak kullanmak, üretim hattında yıkıcı unutmayı engelleyerek kod ve mantık kabiliyetlerini korur.

Bu konuyu derinlemesine öğrenmek isterseniz: Axolotl ve torchtune ile Pratik Çok-GPU Fine-Tuning modülüne göz atın.