LLM'ler için Pekiştirmeli Öğrenmede Asla Vazgeçmeyerek Zor Problemleri Çözmek

Büyük dil modellerinin (LLM) pekiştirmeli öğrenme (RL) ile eğitim sonrası hizalanmasında (post-training), başarı grafiklerinin sürekli yükselmesi aldatıcı bir güven yaratabilir. Michael Noukhovitch’in çalışması, pekiştirmeli öğrenme süreçlerinde gözlemlenen ve modellerin zor problemleri öğrenmesini engelleyen Matta Etkisi'ni (The Matthew Effect) ve bu tıkanıklığı aşmayı hedefleyen "Asla Vazgeçme" (Never Give Up) yaklaşımını odağa alıyor.

Değerlendirmeniz Gerçekte Neyi Ölçüyor?

Olmo 3.1 RL-Zero Math (Dolci RL-Zero math ile eğitilen Olmo 3 7B taban modeli) örneğinde görüldüğü gibi, AIME 2025 değerlendirme eğrisi genel bir matematik gelişimini işaret eder. Ancak tek bir ortalama skor kritik bir gerçeği gizler. 30 soruluk AIME veri seti, modelin başlangıçtaki yetkinliğine göre üç zorluk seviyesine ayrıldığında gerçek tablo ortaya çıkar:

Zor Problemler: Eğitim öncesi modelin pass@32 skoru %0 olan sorular (başlangıç pass@1 ortalaması: %0).
Orta Seviye Problemler: Modelin kısmen yanıt üretebildiği sorular (başlangıç pass@1 ortalaması: %3.8).
Kolay Problemler: Çözüm oranı görece yüksek sorular (başlangıç pass@1 ortalaması: %22.7).

Eğitim ilerledikçe kolay sorular hızla çözülürken, başlangıçta pass@32 değeri 0 olan zor problemler eğitim sonunda da neredeyse tamamen sıfırda kalmaktadır. Dolayısıyla genel skordaki artış, zor problemlerin öğrenilmesinden değil, zaten kısmen çözülebilen kolay ve orta seviyedeki örneklerin pekiştirilmesinden kaynaklanmaktadır.

Diğer Alanlar ve Matta Etkisi

Bu asimetri sadece matematikle sınırlı değildir. Kodlama ve otonom ajan alanlarında açık kaynaklı Deepcoder (LCBv6 üzerinde Deepseek-R1-Distilled-Qwen-14B) ve DeepSWE (SWE-bench) modelleri incelendiğinde de durum değişmez:

Pekiştirmeli öğrenmeden elde edilen kazanımlar, problemlerin kolaylığı ile doğrudan orantılıdır.
Tıpkı iktisat ve sosyolojideki Merton (1968) kaynaklı "zenginin daha da zenginleşmesi" prensibinde olduğu gibi: LLM'lerde RL için Matta Etkisi, modelin bir görevdeki kazanımının başlangıçtaki yetkinliğiyle orantılı olması, yani kolay görevlerin daha da kolaylaşırken zor görevlerin çözümsüz kalmaya devam etmesidir.

Matta Etkisi'ne Ne Sebep Oluyor?

Bu durumun temel sebebi GRPO (Group Relative Policy Optimization) gibi algoritmalardaki sinyal kaybıdır (signal loss):

Eğer model $k$ adet örneklemede tek bir doğru cevaba bile ulaşamazsa, hiçbir gradyan sinyali oluşmaz ve model o problem hakkında hiçbir şey öğrenemez.
Örneklem sayısını ($k$) artırmak bir yere kadar sinyal sağlasa da hesaplama maliyetini katlar ve derin keşif sorununu tek başına çözemez.

Yazılım Geliştiriciler ve Yapay Zeka Ekipleri İçin Çıkarımlar

Kaba Ortalamalara Güvenmeyin: Değerlendirme (eval) süreçlerinizi tek bir başarı yüzdesine bağlamak yerine, verilerinizi zorluk dilimlerine ayırarak modelin sınırlarını netleştirin.
Sinyal Kaybını Önleyin: Modelin sıfır başarı gösterdiği zor görevlerde gradyan alabilmesi için daha akıllı keşif (exploration) ve aşamalı ödül mekanizmaları kurgulayın.
Mühendislikte Asla Vazgeçmeyin: Yalnızca kolay kazanımlara odaklanmak yerine, modelin takıldığı sınır noktalarını tespit edip veri ve yönlendirme kalitesini bu alanlarda yoğunlaştırın.

Orijinal kaynağa buradan ulaşabilirsiniz.