--- title: "İlke İçi Damıtma (On-Policy Distillation) Yeni Beceriler Öğretir, Yeni Bilgiler Değil" url: https://blog.edumints.com/ilke-ici-damitma-on-policy-distillation-yeni-beceriler-ogretir-yeni category: "LLM" date: 2026-10-09T07:26:32.591Z publisher: Edumints Blog lang: tr-TR source_name: "Hugging Face Papers" source_url: https://huggingface.co/papers/2610.09639 --- # İlke İçi Damıtma (On-Policy Distillation) Yeni Beceriler Öğretir, Yeni Bilgiler Değil ## Özet ve Araştırma Sorusu İlke içi damıtma (**On-Policy Distillation - OPD**), büyük dil modellerinin akıl yürütme performansını belirgin biçimde artırmaktadır. Ancak bu damıtma sürecinde öğrenci (student) modelin öğretici (teacher) modelden gerçekten yeni **olgusal bilgiler** (factual knowledge) mi edindiği, yoksa çok adımlı akıl yürütme için gereken **bileşimsel becerileri** (compositional skills) mi kazandığı sorusu uzun süredir belirsizliğini koruyordu. ## Araştırma Metodolojisi Araştırmacılar, bu iki temel kabiliyeti birbirinden net bir şekilde ayırmak ve bağımsız olarak ölçebilmek amacıyla kontrollü bir sentetik deney mimarisi geliştirdi: - **Başlangıç Kapasitesinin Ölçülmesi**: Öğrenci modelin damıtma öncesindeki temel olgusal bilgi ve akıl yürütme sınırları hassas biçimde belirlendi. - **Bağımsız Değişken Kontrolü**: Öğretici modelin barındırdığı ek olgular, bileşimsel akıl yürütme yetenekleri veya her ikisinin kombinasyonu bağımsız olarak kontrol edildi. - **Kapsamlı Model Doğrulaması**: Deneyler, üç ayrı model ailesinden seçilen dört farklı yapay zekâ modeli üzerinde titizlikle yürütüldü. ## Temel Bulgular ve Asimetrinin Kökeni Deneyler, ters-KL (**reverse-KL**) tabanlı OPD sürecinde önemli bir asimetri olduğunu ortaya koydu: - **Bileşimsel Becerilerin Güçlü Transferi**: Ters-KL OPD, daha önce model tarafından hiç karşılaşılmamış yeni akıl yürütme yapılarında bile çok adımlı problem çözme yeteneğini istikrarlı şekilde aktarmaktadır. - **Minimal Düzeyde Olgusal Aktarım**: Akıl yürütmedeki yüksek başarıya rağmen, yeni olgusal bilgilerin öğrenci modele aktarımı neredeyse gerçekleşmemektedir. - **Kayıp Fonksiyonu ve Rollout Etkisi**: Damıtma bileşenleri ayrıştırıldığında; ters-KL yerine ileri-KL (**forward-KL**) kullanılmasının olgusal bilgi transferini geri kazandırdığı, öğrencinin kendi üretim adımlarının (**student rollouts**) ise doğrudan çok adımlı akıl yürütmenin icrasını iyileştirdiği saptandı. - **Gerçek Dünya ve Matematik Testleri**: Güncel olgusal soru-cevap (Factual QA) ve yarışma matematiği alanlarındaki deneyler bu asimetriyi doğruladı; parametrik bellek genişlemezken belirgin akıl yürütme kazanımları kaydedildi. ## Yazılım ve Yapay Zekâ Geliştiricileri İçin Pratik Çıkarımlar Bu araştırma bulguları, üretim odaklı LLM ve model eğitimi süreçlerinde çalışan mühendisler için kritik tasarım ilkeleri sunmaktadır: - **Olgusal Bilgi Yüklemek İçin OPD Kullanmayın**: Öğrenci modele şirket içi dokümantasyonu veya güncel bilgileri kazandırmak istiyorsanız OPD tek başına doğru yöntem değildir; bilgi transferi için RAG veya ileri-KL tabanlı SFT/ön eğitim süreçleri tercih edilmelidir. - **Gizil Bilgiyi Orkestre Edin**: OPD, modelin parametrik belleğini genişletmez; modelin halihazırda sahip olduğu mevcut bilgileri çok adımlı zincirlerde organize etmesini ve etkili biçimde birleştirmesini öğretir. - **Akıl Yürütme Motorlarını Özelleştirin**: Kod analizi, matematiksel mantık ve karmaşık planlama gibi çok adımlı problem çözme yeteneklerini küçük modellere kazandırmak için ters-KL OPD son derece verimli bir optimizasyon tekniğidir. --- Bu konuyu derinlemesine öğrenmek isterseniz: [İleri Akıl Yürütme Teknikleri](https://edumints.com/kesfet/sistematik-prompt-muhendisligi-ve-dspy-ile-program-xpig) modülüne göz atın. --- **Kaynak:** Hugging Face Papers (https://huggingface.co/papers/2610.09639) **Yayıncı:** [Edumints Blog](https://blog.edumints.com) · Alıntılarken bu URL'ye bağlantı verin: https://blog.edumints.com/ilke-ici-damitma-on-policy-distillation-yeni-beceriler-ogretir-yeni