---
title: "Tek Belirti, Üç Kaldıraç: On-Policy Self-Distillation (OPSD) Üzerine Eleştirel Bir İnceleme"
url: https://blog.edumints.com/tek-belirti-uc-kaldirac-on-policy-self-distillation-opsd-uze-zdrwayv8
category: "LLM"
date: 2026-09-08T09:08:30.070Z
publisher: Edumints Blog
lang: tr-TR
source_name: "hfpapers"
source_url: https://huggingface.co/papers/2608.25936
---

# Tek Belirti, Üç Kaldıraç: On-Policy Self-Distillation (OPSD) Üzerine Eleştirel Bir İnceleme

## Giriş ve OPSD Mekanizması

İlke içi damıtma (**on-policy distillation**), bir dil modelini kendi ürettiği dizilimler üzerinde eğitirken, bir öğretici modelin bu çıktıları belirteç (token) bazında puanlaması prensibine dayanır. Bu yaklaşım, taklit öğreniminin (**imitation learning**) sunduğu yoğun denetim mekanizması ile pekiştirmeli öğrenmenin (**reinforcement learning**) dinamik ve ilke içi örnekleme yeteneğini güçlü biçimde harmanlar. Ne var ki geleneksel damıtma, öğretici rolünü üstlenecek daha büyük ve yüksek maliyetli ikinci bir modele ihtiyaç duyar.

**On-Policy Self-Distillation (OPSD)** bu maliyet kısıtını tamamen ortadan kaldırır. OPSD yaklaşımında öğretici, modelin bizzat kendisidir; ancak test anında öğrencinin erişemeyeceği referans bir çözüm, bir planlama şeması veya ortamdan gelen geri bildirimler gibi **ayrıcalıklı bilgilerle** (**privileged information**) şartlandırılmıştır. Buradaki öğretmen öğreniciden daha zeki veya kapasiteli değil, yalnızca o an için daha bilgilidir. İlk deneysel sonuçlar, OPSD'nin pekiştirmeli öğrenmeyle eşdeğer bir doğruluğu, üretilen belirteçlerin yalnızca küçük bir kesriyle yakalayabildiğini göstererek büyük umut vadetmiştir.

## Çöküş (Collapse) Sorunu ve Üç Kaldıraç

Öğretici ile öğrenci arasındaki bu bilgi asimetrisi öğrenme sinyalini üretirken, aynı zamanda bu sinyali yanlı hale getirir. Günümüzde bu yöntemin karşılaştığı en temel başarısızlık modu **çöküş** (**collapse**) olarak adlandırılır. Çöküş, modelin akıl yürütürken üretebildiği alternatif çözüm yollarının giderek daralması ve çeşitliliğini yitirmesidir. Çöküş problemi sadece OPSD'ye özgü olmasa da ayrıcalıklı bilgi bu süreci ciddi şekilde şiddetlendirir.

Matematiksel akıl yürütme alanında çöküş olgusu, sistemi kontrol eden **üç temel kaldıraç** üzerinden bir belirti olarak ele alınmaktadır:

- **(i) Sinyalin Nereye Uygulandığı (Belirteç Ağırlıklandırma):** Üretilen belirteçlerin nasıl ağırlıklandırıldığı, kayıp fonksiyonunda gradyan sinyalinin hangi adımlara odaklandığı.
- **(ii) Öğreticiye Ne Gösterildiği (Ayrıcalıklı Bilginin Doğası):** Modele sunulan ipucunun, çözüm referansının ya da çevresel geri bildirimin biçimi ve kapsamı.
- **(iii) Sinyalin Ne Zaman Değiştiği (Öğretici Dinamikleri ve Rehberliğin Sönümlenmesi):** Öğretici rehberliğinin eğitim ilerledikçe nasıl zayıflatıldığı (decay) ve modelin bağımsızlaşma hızı.

## Yazılım ve Yapay Zeka Geliştiricileri İçin Pratik Çıkarımlar

- **Eğitim Maliyetlerini Optimize Etme:** Dış kaynaklı devasa öğretmen modellere bağımlı kalmadan, ayrıcalıklı bilgi enjeksiyonuyla yerel modeller üzerinde verimli akıl yürütme döngüleri inşa edilebilir.
- **Akıl Yürütme Çeşitliliğini Koruma:** Çözüm uzayının daralmasını (çöküşü) engellemek adına, belirteç ağırlıkları dikkatle ayarlanmalı ve ayrıcalıklı bilgi eğitim boyunca kademeli olarak sönümlendirilmelidir.
- **Metodolojik ve Terminolojik Netlik:** Çalışma, yeni deneyler üretmek yerine literatürdeki farklı kavramları ortak bir dilde toplayarak geliştiricilere hangi yöntemlerin olgunlaştığını, hangilerinin ise halen tartışmalı olduğunu gösteren berrak bir harita sunar.

[Orijinal kaynağa buradan ulaşabilirsiniz.](https://huggingface.co/papers/2608.25936)

---

Bu konuyu derinlemesine öğrenmek isterseniz: [İleri Akıl Yürütme Teknikleri](https://edumints.com/kesfet/sistematik-prompt-muhendisligi-ve-dspy-ile-program-xpig) modülüne göz atın.

---

**Kaynak:** [hfpapers](https://huggingface.co/papers/2608.25936)
**Yayıncı:** [Edumints Blog](https://blog.edumints.com) · Alıntılarken bu URL'ye bağlantı verin: https://blog.edumints.com/tek-belirti-uc-kaldirac-on-policy-self-distillation-opsd-uze-zdrwayv8