Bir Ajan Kendi Başarısızlığını Öngörmeyi Öğrenebilir mi? LLM Ajanlarında Sonuç Odaklı Güven Kalibrasyonu

Otonom Ajanlarda Güvenilirlik ve Sonuç Odaklı Kalibrasyon#

Uzun soluklu (long-horizon) görevleri icra eden otonom LLM ajanlarının üretim ortamlarında güvenle kullanılabilmesi, ajanın her adımda kendi yapacağı hamleye ne kadar güvenebileceğini doğru kestirmesine bağlıdır. Çalışma, ajanların sadece o anki adımın doğruluğunu değil, tüm görevin başarıyla sonuçlanıp sonuçlanmayacağını öngören yeni bir pekiştirmeli öğrenme kalibrasyon yaklaşımı sunmaktadır.

Araştırmanın öne çıkan temel bulguları ve yazılım geliştirme pratikleri şu 5 maddede toplanmaktadır:

• 1. Çok Adımlı Süreçlerde Adım Başı Güven ve Kontrol Devri: Otonom bir ajanı production ortamında yönetirken sistem mimarlarının vermesi gereken en kritik karar; bir sonraki eyleme izin vermek, eylemi durdurmak (abstain) veya kontrolü bir insana (human-in-the-loop) devretmektir. Bunun için mevcut adımın genel görevi nihai başarıya ulaştırıp ulaştırmayacağını tahmin eden adım bazlı bir güven sinyaline ihtiyaç vardır. Pratik yazılım geliştirmede bu, deterministik fallback ve güvenlik bariyerleri (guardrails) inşa etmenin ilk şartıdır.

• 2. GRPO ile Nihai Sonuca Dayalı (Outcome-Grounded) Kalibrasyon: Ajanın kendi sözlü güven ifadesi doğal bir aday olsa da, mevcut pekiştirmeli öğrenme (RL) yöntemleri bu güveni yalnızca o anki adımın yerel doğruluğuna göre ayarlar. Önerilen yeni yöntem, güveni çok adımlı bölümün nihai sonucuna bağlar. GRPO (Group Relative Policy Optimization) algoritması altında, tek bir görev için üretilen grup denemeleri başarı etiketlerini oluşturur; kurallara uygun bir skorlama kuralı (proper scoring rule) ise her adımdaki güveni gerçekleşen nihai sonuca göre cezalandırır veya ödüllendirir. Geliştiriciler için bu, anlık token olasılıklarına aldanmayan, doğrudan iş hedefini baz alan bir güven mekanizması sağlar.

• 3. Çevrimdışı (Offline) RL ve Qwen2.5-7B Başarısı: ALFWorld, TextWorld ve WebShop ortamlarında kayıtlı yörüngeler üzerinde test edilen Qwen2.5-7B modelinde, adım güveninin bölüm sonucunu tahmin etme başarısı (AUROC) rastgele tahmin seviyesinden 0.68–0.85 bandına çıkmıştır. Daha da önemlisi, ajanın en yüksek güven duyduğu ilk %10'luk adımlarda başarı oranı ortalamaya göre yaklaşık 4.3 kat daha yüksek gerçekleşmiştir. Bu durum, backend sistemlerinde yüksek maliyetli veya geri döndürülemez API çağrıları öncesinde yüksek güvenli adımların seçilerek otomatik çalıştırılabileceğini kanıtlar.

• 4. Canlı Ortamda Çevrimiçi (Online) RL ve Seçici Yürütme: Canlı ALFWorld ajanı üzerindeki çevrimiçi RL deneylerinde dört kalibrasyon ödülü kullanılmış; erken adımlardaki AUROC artırılırken, beklenen kalibrasyon hatası (ECE) 0.42 seviyesinden 0.12'nin altına düşürülmüştür. Üstelik bu kalibrasyon, genel görev başarı oranını düşürmeden gerçekleşmiştir. Seçici yürütme (selective execution) performansı, hem eğitilmemiş ajana hem de yalnızca format kuralıyla eğitilmiş kontrol modeline kıyasla belirgin üstünlük sağlamıştır. Bu sayede üretimde token tasarrufu ve kaynak optimizasyonu sağlanır.

• 5. Başarısızlığı İlk Adımda Teşhis Eden Değerlendirme Protokolü: Çalışma; bölüm derinliği, görev zorluğu ve deneme düzeyindeki öngörüyü ayrıştıran yeni bir değerlendirme protokolü sunmaktadır. Bulgular, modelin daha ilk adımdan itibaren hangi görevleri tamamlayamayacağını başarıyla sezdiğini göstermektedir. Aynı görev içindeki başarılı ve başarısız denemeleri ayırt etmek daha zor olsa da, TextWorld ortamında erken adımlarda bu ayrımı yapabilen sinyaller yakalanmıştır. Bu öngörü kabiliyeti, developer'ların imkânsız veya döngüye giren görevleri daha ilk adımda tespit edip erken çıkış (early-exit) yapabilmelerine olanak tanır.

Orijinal makaleye buradan ulaşabilirsiniz.

---

Bu konuyu derinlemesine öğrenmek isterseniz: Production'da Agent Güvenilirliği modülüne göz atın.