İlke İçi Damıtma (On-Policy Distillation) Yeni Beceriler Öğretir, Yeni Bilgiler Değil

Özet ve Araştırma Sorusu#

İlke içi damıtma (On-Policy Distillation - OPD), büyük dil modellerinin akıl yürütme performansını belirgin biçimde artırmaktadır. Ancak bu damıtma sürecinde öğrenci (student) modelin öğretici (teacher) modelden gerçekten yeni olgusal bilgiler (factual knowledge) mi edindiği, yoksa çok adımlı akıl yürütme için gereken bileşimsel becerileri (compositional skills) mi kazandığı sorusu uzun süredir belirsizliğini koruyordu.

Araştırma Metodolojisi#

Araştırmacılar, bu iki temel kabiliyeti birbirinden net bir şekilde ayırmak ve bağımsız olarak ölçebilmek amacıyla kontrollü bir sentetik deney mimarisi geliştirdi:

Başlangıç Kapasitesinin Ölçülmesi: Öğrenci modelin damıtma öncesindeki temel olgusal bilgi ve akıl yürütme sınırları hassas biçimde belirlendi.
Bağımsız Değişken Kontrolü: Öğretici modelin barındırdığı ek olgular, bileşimsel akıl yürütme yetenekleri veya her ikisinin kombinasyonu bağımsız olarak kontrol edildi.
Kapsamlı Model Doğrulaması: Deneyler, üç ayrı model ailesinden seçilen dört farklı yapay zekâ modeli üzerinde titizlikle yürütüldü.

Temel Bulgular ve Asimetrinin Kökeni#

Deneyler, ters-KL (reverse-KL) tabanlı OPD sürecinde önemli bir asimetri olduğunu ortaya koydu:

Bileşimsel Becerilerin Güçlü Transferi: Ters-KL OPD, daha önce model tarafından hiç karşılaşılmamış yeni akıl yürütme yapılarında bile çok adımlı problem çözme yeteneğini istikrarlı şekilde aktarmaktadır.
Minimal Düzeyde Olgusal Aktarım: Akıl yürütmedeki yüksek başarıya rağmen, yeni olgusal bilgilerin öğrenci modele aktarımı neredeyse gerçekleşmemektedir.
Kayıp Fonksiyonu ve Rollout Etkisi: Damıtma bileşenleri ayrıştırıldığında; ters-KL yerine ileri-KL (forward-KL) kullanılmasının olgusal bilgi transferini geri kazandırdığı, öğrencinin kendi üretim adımlarının (student rollouts) ise doğrudan çok adımlı akıl yürütmenin icrasını iyileştirdiği saptandı.
Gerçek Dünya ve Matematik Testleri: Güncel olgusal soru-cevap (Factual QA) ve yarışma matematiği alanlarındaki deneyler bu asimetriyi doğruladı; parametrik bellek genişlemezken belirgin akıl yürütme kazanımları kaydedildi.

Yazılım ve Yapay Zekâ Geliştiricileri İçin Pratik Çıkarımlar#

Bu araştırma bulguları, üretim odaklı LLM ve model eğitimi süreçlerinde çalışan mühendisler için kritik tasarım ilkeleri sunmaktadır:

Olgusal Bilgi Yüklemek İçin OPD Kullanmayın: Öğrenci modele şirket içi dokümantasyonu veya güncel bilgileri kazandırmak istiyorsanız OPD tek başına doğru yöntem değildir; bilgi transferi için RAG veya ileri-KL tabanlı SFT/ön eğitim süreçleri tercih edilmelidir.
Gizil Bilgiyi Orkestre Edin: OPD, modelin parametrik belleğini genişletmez; modelin halihazırda sahip olduğu mevcut bilgileri çok adımlı zincirlerde organize etmesini ve etkili biçimde birleştirmesini öğretir.
Akıl Yürütme Motorlarını Özelleştirin: Kod analizi, matematiksel mantık ve karmaşık planlama gibi çok adımlı problem çözme yeteneklerini küçük modellere kazandırmak için ters-KL OPD son derece verimli bir optimizasyon tekniğidir.

Bu konuyu derinlemesine öğrenmek isterseniz: İleri Akıl Yürütme Teknikleri modülüne göz atın.