Uzun Ufuklu LLM Ajanları İçin Çok Ölçekli Politika Optimizasyonu (MPO)

Uzun Ufuklu LLM Ajanlarında Etkileşim ve Değer Değişimi#

Uzun ufuklu (long-horizon) Büyük Dil Modeli (LLM) ajanları, çevreleriyle tam asistan turları (turns) üzerinden etkileşime girerken her bir eylemi kelime parçacığı (token) bazında adım adım üretir. Geleneksel pekiştirmeli öğrenme (RL) yaklaşımlarında bu iki farklı ölçek —yani üretimin yapıldığı mikro token ölçeği ile çevre etkileşiminin gerçekleştiği makro tur ölçeği— arasında yapısal bir uyumsuzluk ortaya çıkar.

Araştırma bulguları, kritik (critic) değerlerinin esas olarak tekil token'lar arasında değil, turlar arasında değiştiğini göstermektedir. Yazılım geliştirme ve ajan mimarisi açısından bu durum kritik bir gerçeğe işaret eder: Bir ajanın nihai başarısını belirleyen ana unsur, tek bir kelimenin seçimi değil, bir turda aldığı stratejik karar ve gerçekleştirdiği eylemdir. Bu gözlem, optimizasyon sürecinin tur seviyesinde sabitlenmesini, ancak token'lar arasında daha ince ayarlı bir kredi dağılımı (credit allocation) yapılmasını motive etmektedir.

Çok Ölçekli Politika Optimizasyonu (MPO) Yaklaşımı#

Bu ölçek farkını çözmek adına makalede Çok Ölçekli Politika Optimizasyonu (Multiscale Policy Optimization - MPO) önerilmektedir. MPO, kredi atamasını ve politika güncellemelerini tur ölçeğinde hizalamak için iki temel bileşeni bir araya getirir:

• Çok Ölçekli Avantaj Tahmini (Multiscale Advantage Estimation - MAE): Hem tur bazlı genel stratejik değeri hem de token bazlı ince katkıları birlikte değerlendirerek ödül sinyalini çok katmanlı şekilde dengeler.
• Tur Seviyesinde Önem Örneklemesi (Turn-level Importance Sampling): Politika güncellemelerinin istikrarını artırmak için örnekleme ağırlıklarını tekil token'lar yerine tam asistan turları ölçeğinde hizalar.

Deneysel Sonuçlar ve Yazılım Geliştirme İçin Pratik Çıkarımlar#

Arama (search), araç kullanımı (tool-use) ve otomasyon görevleri üzerinde 4B ve 30B-A3B (Mixture-of-Experts) modelleriyle gerçekleştirilen kapsamlı deneyler, MPO'nun güçlü pekiştirmeli öğrenme (RL) temel modellerine kıyasla tutarlı performans artışları sağladığını kanıtlamaktadır.

Mühendislik ve platform geliştirme perspektifinden çıkarılabilecek pratik dersler şunlardır:

• Tur Bazlı Değerlendirme Tasarlayın: Çok adımlı (multi-step) ajanları eğitirken veya izlerken, başarı metriklerini ve geri bildirim döngülerini yalnızca çıktı metninin yüzeysel kalitesine değil, her bir araç çağrısı (tool call) ve eylem turunun görev hedefine katkısına odaklayın.
• Küçük ve Verimli Modellerde Yüksek Performans: 4B parametreli kompakt modellerin veya 30B-A3B gibi seyrek (sparse) mimarilerin MPO ile arama ve otomasyon görevlerinde güçlenmesi, doğru optimizasyon teknikleriyle maliyet-performans odaklı modellerin üretim ortamında (production) karmaşık iş akışlarını başarıyla yürütebileceğini göstermektedir.
• Kredi Atamasını Katmanlandırın: Ajan hata yaptığında veya başarılı olduğunda, hangi turdaki kararın ve o tur içindeki hangi spesifik parametrelerin sonuca etki ettiğini ayrıştırmak, hem RL eğitimlerinde hem de üretim ortamındaki ajan hata ayıklama (debugging) süreçlerinde doğrudan verimlilik sağlar.

İlgili Platform Modülü: Tool Calling ve Multi-Step Agent'lar