Kötü Ajan İyi Öğretmen Olur mu? Uzun Ufuklu Görevlerde Karar Modelleri

Çok adımlı ajan sistemleri kurarken modelleri genelde sahadaki performansına göre seçeriz. Görevi tek başına tamamlayamayan modeli hemen eleriz. ALFWorld ve WebShop ortamlarında yapılan yeni çalışma bu alışkanlığı sorguluyor. Eylem seçerken tökezleyen karar modellerinin, süreç bittikten sonra adımları değerlendirip başka bir politikayı pekiştirmeli öğrenme (reinforcement learning) ile eğitmede çok başarılı olabildiği ortaya çıktı.

Sahada Yanılan Model Hakem Koltuğunda Nasıl Doğruyu Görür?#

Karar modelleri, sorulan soruya her seçeneğin olasılığını içeren yapılandırılmış çıktılarla yanıt verir. Bu yapıları sayesinde üç farklı rolde çalışabilirler:

• Aktör (Actor): Ajanın sıradaki eylemini doğrudan seçer.
• Hakem (Judge): Atılmış adımları dışarıdan değerlendirir.
• Öğretmen (Teacher): Pekiştirmeli öğrenme ile bir politikayı eğitmek için her eylemi puanlar.

Önceki çalışmalar bu modelleri hep aktör koltuğuna oturtup ne kadar iyi eylem seçtiklerine odaklanıyordu. Yeni deneylerde ise ALFWorld ortamında üç karar modeli ile üç genel büyük dil modeli (LLM) hem aktör hem de hakem olarak karşılaştırıldı. Altı modelin tamamı aktör rolündeyken aynı tuzağa düştü. Önce tamamlanması gereken zorunlu alt hedefi bırakıp daha kolay görünen başka bir alt hedefe yöneldiler. Kısacası sahada hepsi başarısız oldu.

Roller değişip aynı altı modele tüm yörünge (trajectory) izletildiğinde tablo tersine döndü. Aktörken kolay hedefe kanan modeller, hakem koltuğuna geçince o ilk zorunlu alt hedefe giden adımlara doğru puanları verdi. Eylemin sonuçlarını önceden tahmin etmek zordur. Bölüm bittikten sonra geriye dönüp bakmak ise her adımın nereye vardığını açıkça gösterir. Sahada yanılan modelin masa başında doğru karar vermesi tam olarak bu farktan kaynaklanıyor.

Rakamlarla Öğretmen Etkisi: JEV ve Qwen2.5-1.5B Deneyi#

İyi hakemlik doğrudan iyi öğretmenliğe dönüşüyor. Çalışmada JEV, öğretmen rolünde kullanılarak GRPO tabanlı Qwen2.5-1.5B politikasını eğitmek için ALFWorld ve WebShop ortamlarında test edildi. Sonuçlar iki ortamda da belirgin bir sıçrama gösteriyor:

• ALFWorld ortamında başarı oranı %72,8 seviyesinden %82,9 seviyesine çıktı.
• WebShop ortamında ise başarı oranı %56,8 düzeyinden %71,4 düzeyine ulaştı.

Küçük bir modeli pekiştirmeli öğrenme ile eğitirken devasa ve hatasız bir aktör modele ihtiyacın yok. Görevi kendisi yapamayan bir karar modeli bile, tamamlanmış denemeleri puanlayarak Qwen2.5-1.5B gibi küçük bir politikayı kendi başlangıç seviyesinin çok üzerine taşıyabiliyor.

Kendi Ajan Sisteminde Bunu Nasıl Kullanırsın?#

Çok adımlı ajanlar geliştirirken ya da LLM tabanlı hakem (LLM-as-a-Judge) mekanizmaları kurarken bu bulgulardan doğrudan yararlanabilirsin. Değerlendirme kurgunu şu iki ilkeye göre güncelle:

• Sorguyu sonuca değil katkıya odakla: Hakem modele "Görev başarılı olacak mı?" diye sorma. Bunun yerine her adım için "Bu eylem yardımcı oldu mu?" sorusunu yönelt. Deneyler, eylemin katkısını sorgulamanın işe yarayan adımlarla gereksiz adımları birbirinden net biçimde ayırdığını gösteriyor.
• Değerlendirmeyi bölüm sonunda yap: Modelden anlık tahmin beklemek yerine tüm bölümün (episode) bitmesini bekle. Tamamlanmış yörüngeyi modele verip adımları geriye dönük puanlat.

Elindeki model uzun soluklu görevlerde ilk adımı atarken dağılıyor olabilir. Onu doğrudan canlıya almak yerine çevrimdışı eğitim hattında ödül modeli veya öğretmen olarak konumlandır. Zayıf bir aktörden güçlü bir öğretmen çıkararak daha küçük modellerini düşük maliyetle eğitebilirsin.

---

Bu konuyu derinlemesine öğrenmek istersen: LLM-as-a-Judge ve Braintrust modülüne göz at.