Güçlenmek İçin Zayıflamak: Büyük Akıl Yürütme Modelleri İçin Zayıflatma Kaynaklı Kendi Kendine Damıtma (WISD)

Kendi Kendine Damıtma ve Ayrıcalıklı Bilgi Sorunu#

Büyük akıl yürütme modellerini (Large Reasoning Models) geliştirmek istediğimizde, her zaman daha güçlü bir dış öğretmen (external teacher) modele erişimimiz olmayabilir. Kendi kendine damıtma (self-distillation), bu gibi durumlarda modelleri iyileştirmek için etkili bir alternatif sunar. Ancak geleneksel yaklaşımlar, modelin kendisinden daha güçlü bir öğretmen oluşturmak için "ayrıcalıklı bilgilere" (doğrulanmış cevaplar veya referans çözümler gibi) ihtiyaç duyar. Yalnızca etiketsiz istemlerin (unlabeled prompts) bulunduğu gerçek dünya yazılım geliştirme senaryolarında bu durum ciddi bir kısıtlama yaratır.

Bu çalışma, ayrıcalıklı bilgi ihtiyacını tamamen ortadan kaldıran Zayıflatma Kaynaklı Politika İçi Kendi Kendine Damıtma (Weakening-Induced On-Policy Self-Distillation - WISD) yöntemini tanıtmaktadır. Daha güçlü bir öğretmen aramak yerine, orijinal modelin kasıtlı olarak daha zayıf bir kopyası oluşturulur ve orijinal model ile zayıf kopya arasındaki kontrast, eğitim sinyali olarak kullanılır.

Zayıf Model Oluşturma Yöntemleri ve Performans Sonuçları#

WISD çerçevesinde orijinal modelin zayıf karşılığını oluşturmak için iki temel teknik incelenmektedir:

• Düşük Bitli Kuantizasyon (Low-Bit Quantization): Model ağırlıklarının hassasiyetini düşürerek daha zayıf bir varyant elde etme.
• Büyüklük Budaması (Magnitude Pruning): Modeldeki düşük ağırlıklı bağlantıları budayarak kapasiteyi sınırlandırma.

Farklı mimariler ve ölçekler üzerinde matematiksel akıl yürütme ve kodlama görevlerinde yapılan değerlendirmeler çarpıcı sonuçlar ortaya koymaktadır:

• Genel Doğruluk Artışı: Ayrıcalıklı bilgi kullanılmamasına rağmen, kuantizasyon ortalama doğruluğu orijinal modellere kıyasla 4,0 puan, budama ise 5,5 puan artırarak en gelişmiş (state-of-the-art) performansa ulaşmıştır.
• Qwen3.5-4B Üzerinde Budama Etkisi: HMMT 2025 kıyaslamasında doğruluk oranını %57,7'den %70,5'e, LiveCodeBench v6 kodlama testinde ise %39,1'den %56,7'ye yükseltmiştir.
• Qwen3.6-35B-A3B Üzerinde Kuantizasyon Etkisi: Aynı kıyaslamalarda doğruluk oranlarını sırasıyla %68,5'ten %74,6'ya ve %61,8'den %69,5'e çıkarmıştır.

Yazılım Geliştirme ve Mühendislik İçin Pratik Çıkarımlar#

AI mühendisleri ve uygulama geliştiriciler için WISD yaklaşımı önemli pratik dersler barındırır:

• Etiketsiz Veriyle Model İyileştirme: Üretim ortamında toplanan ancak doğruluk etiketi bulunmayan kullanıcı istemleri (unlabeled prompts), dış bir öğretmen modele veya pahalı veri etiketleme süreçlerine gerek kalmadan modeli geliştirmek için doğrudan kullanılabilir.
• Sıkıştırma Tekniklerinin Yeni Rolü: Normalde sadece çıkarım (inference) maliyetini düşürmek ve hızı artırmak için kullandığımız kuantizasyon ve budama teknikleri, WISD ile modelin akıl yürütme ve kod yazma kapasitesini artıran birer eğitim aracına dönüşmektedir.
• Kodlama Modellerinde Sıçrama: LiveCodeBench v6 üzerindeki yüksek artış (örneğin %39,1'den %56,7'ye), özellikle kod üretimi ve yazılım geliştirme ajanları için kendi kendine damıtmanın ne kadar kritik bir optimizasyon adımı olduğunu kanıtlamaktadır.
• İlgili Platform Modülleri: Ölçeklendirme ve Optimizasyon, İleri Akıl Yürütme Teknikleri, Axolotl ve torchtune ile Pratik Çok-GPU Fine-Tuning.

Sonuç olarak WISD, büyük akıl yürütme modellerini ek veri maliyeti olmadan güçlendirmek için yenilikçi ve son derece etkili bir kendi kendine damıtma çerçevesi sunmaktadır.