---
title: "Politikaya Dayalı Öz-Eğitim (On-Policy Self-Training): Büyük Dil Modellerinde Verisiz Öz-Gelişim"
url: https://blog.edumints.com/politikaya-dayali-oz-egitim-on-policy-self-training-buyuk-dil
category: "Makine Öğrenmesi"
date: 2026-10-26T09:05:00.555Z
publisher: Edumints Blog
lang: tr-TR
source_name: "Hugging Face Papers"
source_url: https://huggingface.co/papers/2610.32770
---

# Politikaya Dayalı Öz-Eğitim (On-Policy Self-Training): Büyük Dil Modellerinde Verisiz Öz-Gelişim

## Mevcut Öz-Damıtma Yaklaşımları ve Sınırlılıkları

Politikaya dayalı öz-damıtma (**on-policy self-distillation**), temel modellerin (**foundation models**) eğitim sonrası (**post-training**) süreçlerinde daha güçlü dış öğretmen modellere ihtiyaç duymadan geliştirilmesini sağlar. Ancak günümüzdeki mevcut yaklaşımlar; kesin doğruluk (ground-truth) içeren soru-cevap çiftlerine, insanlar tarafından özenle hazırlanmış problem setlerine veya diğer denetimli (**supervised**) sinyallere bağımlı kalmaktadır.

Yazılım geliştirme ve MLOps süreçleri açısından bakıldığında, kaliteli eğitim verisi toplamak ve **Golden Dataset Oluşturma** aşamaları en maliyetli darboğazlardan biridir. Dış öğretmen modellere veya insan etiketlemesine olan bağımlılık, özellikle spesifik alanlarda model ölçeklendirmeyi zorlaştırır.

## Yeni Öz-Eğitim Çerçevesi ve Sentetik Müfredat Üretimi

Bu çalışmada araştırmacılar, politikaya dayalı öz-damıtma yöntemini, modelin kendi ürettiği soru-cevap çiftleri ve ayrıcalıklı akıl yürütme (**privileged reasoning**) gösterimleriyle yönlendirilen bir öz-eğitim (**self-training**) çerçevesi olarak yeniden formüle etmektedir. Denetim ihtiyacı en uç noktaya kadar azaltılmıştır:

- **Üst Düzey Konu Rehberliği:** Model, yalnızca kaba ve üst düzey konu açıklamalarıyla yönlendirilir.
- **Kendi Müfredatını Sentezleme:** İnsanlar tarafından hazırlanmış hiçbir isteme (**prompt**) veya cevaba erişimi olmadan, kendi sorgu müfredatını ve ayrıcalıklı akıl yürütme izlerini (**reasoning traces**) sentezler.
- **Sıfır İnsan Kürasyonu:** Dışarıdan hazır soru-cevap setleri yerine tamamen modelin içsel temsillerinden üretilen yapılandırılmış adımlar kullanılır.

Mühendislik perspektifinden bu yaklaşım, **İleri Akıl Yürütme Teknikleri** ve sentetik veri üretim boru hatlarının birleşimini temsil eder. Geliştiriciler, ince ayar (**fine-tuning**) süreçlerinde devasa etiketli veri setleri aramak yerine, üst düzey konu tanımlarıyla modelin kendi eğitim verisini üretmesini sağlayabilir.

## Çoklu Alanlarda ve Çok Modlu Görevlerde Tutarlı Gelişim

Tamamen sentetik ayrıcalıklı bilgiler üzerinde gerçekleştirilen öz-damıtma, modelin birden fazla alanda kendini geliştirmesine olanak tanır. Üstelik model bu gelişimi gösterirken, üzerinde öz-eğitim yapılmayan diğer alanlardaki mevcut yeteneklerini de kaybetmeden korur (**felaket unutmayı / catastrophic forgetting önleme**).

Çerçevenin genel uygulanabilirliği hem metin hem de çok modlu (**multimodal**) alanlarda kanıtlanmıştır:

- **Standart Dil Kıyaslamaları:** Metin tabanlı standart dil testlerinde tutarlı öz-gelişim elde edilmiştir.
- **Görsel Soru Cevaplama (VQA):** Çok modlu senaryolarda dış veri seti olmadan anlamlı performans artışı sağlanmıştır.

## Pratik Çıkarımlar ve Gizli Yeteneklerin Güçlendirilmesi

Araştırmanın bulguları, temel modellerin dış görev denetimi veya özel olarak derlenmiş problem dağılımları olmadan da güçlendirilebilecek zengin gizli (**latent**) yeteneklere sahip olduğunu göstermektedir.

Pratik yapay zeka mühendisliği ve öğrenme süreçleri için temel çıkarımlar şunlardır:

- **Veri Darboğazını Aşma:** **Axolotl ve torchtune ile Pratik Çok-GPU Fine-Tuning** gibi süreçlerde insan yapımı veri seti olmadığında, modelin kendi akıl yürütme izlerini üretmesi sağlanarak eğitim yapılabilir.
- **Kapasite Korunumu:** Modeli belirli bir alanda geliştirirken genel yeteneklerinin gerilememesi, üretim ortamındaki güvenilirlik için kritik bir avantajdır.
- **Maliyet Etkin Post-Training:** Daha büyük ve pahalı bir öğretmen modelin API maliyetlerine katlanmadan, modelin kendi içsel bilgisini damıtmak eğitim bütçesini optimize eder.

[](https://huggingface.co/papers/2610.32770)

---

**Kaynak:** Hugging Face Papers (https://huggingface.co/papers/2610.32770)
**Yayıncı:** [Edumints Blog](https://blog.edumints.com) · Alıntılarken bu URL'ye bağlantı verin: https://blog.edumints.com/politikaya-dayali-oz-egitim-on-policy-self-training-buyuk-dil