Ajanlarda Araç Zaman Aşımı Sonrası Kanıt Odaklı Kurtarma

Çok adımlı bir yapay zeka ajanı geliştirirken karşılaşabileceğin en can sıkıcı durumlardan biri araç çağrılarının zaman aşımına uğramasıdır. Bir adım yanıt vermediğinde arka planda tam olarak ne yaşandığını bilemezsin. İşlem tamamen başarısız olmuş, veritabanına işlenmiş veya hâlâ çalışıyor olabilir; üstelik bu belirsizlik sürerken iş akışındaki diğer adımlar çoktan tamamlanmıştır.

Belirsiz Durumları Kanıtlarla Yönetmek#

Yeni yayımlanan çalışma, belirsiz araç çıktıları ve kısmi yürütme durumlarında ajanların görevlerini güvenli biçimde kurtarması için kanıt odaklı bir yapı kuruyor. Bu yaklaşım; onaylanmış yükümlülükler, sağlayıcı yetenekleri ve açık kanıtlarla uyumlu durumlar üzerinden hareket ediyor. İşlemi körü körüne tekrar denemek yerine eldeki kanıtlara bakarak karar veriyor.

Sistemin merkezinde ortak bir kabul edilebilirlik kontrolü var. Bu kontrol mekanizması şu dört unsuru denetliyor:

• Anahtar süresi dolumu: İşlem için kullanılan anahtarların geçerlilik süresi.
• Yetkilendirme zamanlaması: İzinlerin hangi zaman diliminde geçerli olduğu.
• Bağımlılıklar: İş akışındaki adımların birbirine olan bağlantısı.
• Artık etkiler: Tamamlanmamış veya belirsiz kalmış adımların sistemde bıraktığı izler.

Bilinen model uygulamasında, standart gözleme dayalı planlama ile ayrı olarak geliştirilmiş bir etki geçmişi hakemi (adjudicator) birleştiriliyor. Süreç sonunda üretilen uç sertifika, asıl hedefin gerçekten karşılanması ile açık kanıtlarla desteklenen güvenli tamamlanma durumunu birbirinden ayırıyor.

Salt Prompt Yazmak Neden Yetmiyor?#

Üretim ortamına ajan çıkarırken zaman aşımı sorunlarını genellikle sisteme kanıtları içeren bir prompt vererek çözmeye çalışırız. Çalışmadaki veriler, yapılandırılmış planlama tavsiyesinin salt kanıt promptlamasına göre çok daha verimli çalıştığını ortaya koyuyor.

Araştırmacılar, önceden geliştirilmiş 19 görev ailesindeki 58 eşleştirilmiş birim üzerinde iki yerel model paketiyle önceden kayıtlı bir karşılaştırma yapıyor. Ortak bir koruma kalkanı altında yapılan bu testlerde, planlama tavsiyesi 30 tamamlamayı sertifikalandırırken kanıt promptlama yöntemi 9 tamamlamada kalıyor. Arada 36,2 yüzde puanlık net bir fark var (p=0,0078).

Üstelik bu başarı sağlanırken harcanan adım sayısı da düşüyor. Kanıt promptlama 399 öneri üretirken, planlama tavsiyesi 272 öneriyle sonuca ulaşıyor. Test edilen 116 yörüngenin tamamı bağımsız yeniden oynatma (replay) testinden geçiyor ve her iki model paketinde de tamamlama farkı pozitif çıkıyor. Ayrıca 37 görevlik sonlu bir çalışmada, planlama ve üç aktif kontrolün her biri 28 tamamlamayı sertifikalandırıyor; kurtarılan dört sentetik ücret birimi ise ek hesaplama maliyeti yaratıyor.

Kendi Ajan Mimarine Nasıl Uyarlarsın?#

Üçüncü taraf servislerin her işlemi tam olarak bir kez (exactly-once) çalıştıracağını varsaymak tehlikelidir. Bu çalışmadaki mimari, garantileri keyfi üçüncü taraf varsayımları yerine doğrudan sağlayıcının beyan ettiği yeteneklere bağlıyor. Kendi ajan sistemini kurarken şu tasarım ilkelerini uygulayabilirsin:

• Etki geçmişini ayrı tut: Planlama mantığı ile geçmiş aksiyonların etkisini değerlendiren hakem mekanizmasını birbirinden ayırarak kodla.
• Kabul edilebilirlik katmanı ekle: Ajan bir aracı yeniden çağırmadan önce anahtar süresini, yetki zamanlamasını, bağımlılıkları ve olası yan etkileri ortak bir kontrolden geçir.
• Bilinmeyen durumları gizleme: Bilinmeyen sonuçları ve devir (handoff) durumlarını sistemde açıkça tanımla. Ajanın emin olamadığı yerde hedefe ulaşıldığını varsaymak yerine, kanıtlarla desteklenen güvenli bir duruma geçmesini sağla.
• Bağımsız yeniden oynatma kurgula: Ajanın izlediği yörüngeleri kaydederek sonradan bağımsız olarak yeniden oynatılabilir ve doğrulanabilir hale getir.

Arama tabanlı tavsiye ile kural tabanlı tavsiye arasındaki farkı görmek için ayrı bir eşleştirilmiş karşılaştırma yapılması gerekiyor; ancak mevcut sonuçlar ortak bir güvenlik kalkanı altında yapılandırılmış planlama tavsiyesi kullanmanın hata kurtarma başarısını ciddi oranda artırdığını gösteriyor.

---

Bu konuyu derinlemesine öğrenmek istersen: Production'da Agent Güvenilirliği modülüne göz at.