Politikaya Dayalı Öz-Eğitim (On-Policy Self-Training): Büyük Dil Modellerinde Verisiz Öz-Gelişim

Mevcut Öz-Damıtma Yaklaşımları ve Sınırlılıkları#

Politikaya dayalı öz-damıtma (on-policy self-distillation), temel modellerin (foundation models) eğitim sonrası (post-training) süreçlerinde daha güçlü dış öğretmen modellere ihtiyaç duymadan geliştirilmesini sağlar. Ancak günümüzdeki mevcut yaklaşımlar; kesin doğruluk (ground-truth) içeren soru-cevap çiftlerine, insanlar tarafından özenle hazırlanmış problem setlerine veya diğer denetimli (supervised) sinyallere bağımlı kalmaktadır.

Yazılım geliştirme ve MLOps süreçleri açısından bakıldığında, kaliteli eğitim verisi toplamak ve Golden Dataset Oluşturma aşamaları en maliyetli darboğazlardan biridir. Dış öğretmen modellere veya insan etiketlemesine olan bağımlılık, özellikle spesifik alanlarda model ölçeklendirmeyi zorlaştırır.

Yeni Öz-Eğitim Çerçevesi ve Sentetik Müfredat Üretimi#

Bu çalışmada araştırmacılar, politikaya dayalı öz-damıtma yöntemini, modelin kendi ürettiği soru-cevap çiftleri ve ayrıcalıklı akıl yürütme (privileged reasoning) gösterimleriyle yönlendirilen bir öz-eğitim (self-training) çerçevesi olarak yeniden formüle etmektedir. Denetim ihtiyacı en uç noktaya kadar azaltılmıştır:

• Üst Düzey Konu Rehberliği: Model, yalnızca kaba ve üst düzey konu açıklamalarıyla yönlendirilir.
• Kendi Müfredatını Sentezleme: İnsanlar tarafından hazırlanmış hiçbir isteme (prompt) veya cevaba erişimi olmadan, kendi sorgu müfredatını ve ayrıcalıklı akıl yürütme izlerini (reasoning traces) sentezler.
• Sıfır İnsan Kürasyonu: Dışarıdan hazır soru-cevap setleri yerine tamamen modelin içsel temsillerinden üretilen yapılandırılmış adımlar kullanılır.

Mühendislik perspektifinden bu yaklaşım, İleri Akıl Yürütme Teknikleri ve sentetik veri üretim boru hatlarının birleşimini temsil eder. Geliştiriciler, ince ayar (fine-tuning) süreçlerinde devasa etiketli veri setleri aramak yerine, üst düzey konu tanımlarıyla modelin kendi eğitim verisini üretmesini sağlayabilir.

Çoklu Alanlarda ve Çok Modlu Görevlerde Tutarlı Gelişim#

Tamamen sentetik ayrıcalıklı bilgiler üzerinde gerçekleştirilen öz-damıtma, modelin birden fazla alanda kendini geliştirmesine olanak tanır. Üstelik model bu gelişimi gösterirken, üzerinde öz-eğitim yapılmayan diğer alanlardaki mevcut yeteneklerini de kaybetmeden korur (felaket unutmayı / catastrophic forgetting önleme).

Çerçevenin genel uygulanabilirliği hem metin hem de çok modlu (multimodal) alanlarda kanıtlanmıştır:

• Standart Dil Kıyaslamaları: Metin tabanlı standart dil testlerinde tutarlı öz-gelişim elde edilmiştir.
• Görsel Soru Cevaplama (VQA): Çok modlu senaryolarda dış veri seti olmadan anlamlı performans artışı sağlanmıştır.

Pratik Çıkarımlar ve Gizli Yeteneklerin Güçlendirilmesi#

Araştırmanın bulguları, temel modellerin dış görev denetimi veya özel olarak derlenmiş problem dağılımları olmadan da güçlendirilebilecek zengin gizli (latent) yeteneklere sahip olduğunu göstermektedir.

Pratik yapay zeka mühendisliği ve öğrenme süreçleri için temel çıkarımlar şunlardır:

• Veri Darboğazını Aşma: Axolotl ve torchtune ile Pratik Çok-GPU Fine-Tuning gibi süreçlerde insan yapımı veri seti olmadığında, modelin kendi akıl yürütme izlerini üretmesi sağlanarak eğitim yapılabilir.
• Kapasite Korunumu: Modeli belirli bir alanda geliştirirken genel yeteneklerinin gerilememesi, üretim ortamındaki güvenilirlik için kritik bir avantajdır.
• Maliyet Etkin Post-Training: Daha büyük ve pahalı bir öğretmen modelin API maliyetlerine katlanmadan, modelin kendi içsel bilgisini damıtmak eğitim bütçesini optimize eder.