Yerel Olarak Daha Az Düşün: Akıl Yürütme Sıkıştırması İçin Yerel Tercih Öğrenimi

Giriş ve Problem Tanımı: Aşırı Düşünme (Overthinking) Maliyeti#

Büyük akıl yürütme modelleri (Large Reasoning Models), karmaşık ve zorlu görevlerde oldukça güçlü bir performans sergilemektedir. Ancak bu modellerin ürettiği uzun düşünce zincirleri (Chain-of-Thought - CoT), çoğu zaman yeterli bilgi elde edildikten sonra bile üzerinde düşünmeye devam etmeleri nedeniyle ciddi çıkarım (inference) maliyetlerine yol açar. Mevcut akıl yürütme sıkıştırma yöntemleri genellikle tüm akıl yürütme yörüngeleri (trajectories) üzerinde bütünsel olarak çalışır; buna karşın mevcut durum göz önüne alındığında daha fazla akıl yürütmenin gerçekten gerekli olup olmadığına dair yerel kararlara yeterince odaklanmaz.

Önerilen Yöntem: LoCo (Local Preference Learning)#

Bu sorunu çözmek amacıyla, akıl yürütme sıkıştırması için yerel bir tercih öğrenimi yöntemi olan LoCo önerilmektedir. Modelin genel olarak daha kısa metinler üretmesini körü körüne teşvik etmek yerine, ona akıl yürütmeye ne zaman devam edeceğini ve ne zaman sonuca varacağını öğreten LoCo şu adımlarla çalışır:

• Modelin kendi ürettiği izlerden (traces) aday "aşırı düşünme" (overthinking) durumlarını tespit eder.
• İlgili akıl yürütme öneklerini (prefixes) dondurur.
• Aynı durumlardan yola çıkarak daha kısa ve doğrulanmış devam metinleri (continuations) yeniden üretir.
• Elde edilen duruma koşullandırılmış tercih çiftleri üzerinde DPO (Direct Preference Optimization) ile eğitim gerçekleştirir.

Deneysel Sonuçlar ve Alanlar Arası Genellenebilirlik#

Eğitim verileri tamamen modelin kendi ürettiği matematiksel izlerden oluşturulmuş ve LoCo, beş matematik ile üç kod üretimi kıyaslama (benchmark) testinde değerlendirilmiştir. Elde edilen bulgular şunlardır:

• Matematik Görevleri: Tamamlama uzunluğunu %41,7 ile %45,4 oranında azaltırken doğruluğu korumuş veya artırmış; doğruluk-verimlilik dengesini (accuracy-efficiency trade-off) tutarlı bir şekilde iyileştirmiştir.
• Kod Üretimi Görevleri: Yalnızca matematik verileriyle eğitilmiş olmasına rağmen kod üretimine etkili bir şekilde transfer olmuş, tamamlama uzunluğunu %23,4 ile %36,3 oranında düşürmüş ve tüm kod testlerinde en iyi AUC değerine ulaşmıştır.

Yazılım Geliştirme ve Öğrenme Açısından Pratik Çıkarımlar#

Üretim ortamında LLM tabanlı uygulamalar ve ajan sistemleri geliştiren mühendisler için bu araştırma önemli pratik dersler sunmaktadır:

• Maliyet ve Gecikme Optimizasyonu: Kod üretimi veya karmaşık problem çözümü yapan asistanlarda token tüketimini %30-%45 bandında azaltmak, doğruluktan ödün vermeden API maliyetlerini ve yanıt bekleme sürelerini (latency) doğrudan düşürür.
• Alanlar Arası Transfer Gücü: Sadece matematiksel akıl yürütme izleriyle yapılan yerel tercih optimizasyonunun kod üretimine doğrudan katkı sağlaması, "ne zaman duracağını bilme" yeteneğinin genel bir algoritmik beceri olduğunu gösterir.
• Hedefli İnce Ayar (Fine-Tuning): Kendi modellerini eğiten ekipler, tüm çıktıyı kısaltmaya çalışmak yerine DPO kullanarak modelin yalnızca gereksiz tekrarlara düştüğü yerel karar noktalarını hedeflemelidir. Çalışmanın kodları ve modeli açık kaynak olarak GitHub üzerinden erişime açılacaktır.

---

Bu konuyu derinlemesine öğrenmek isterseniz: İleri Akıl Yürütme Teknikleri modülüne göz atın.