Uzun Ufuklu Ajanlar İçin İnanç Güncellemeleri ve Dünya Modellemesi Yoluyla Hata Kurtarma

Uzun Ufuklu Ajanlarda Derin Hata Kurtarma Zorluğu#

Uzun ufuklu (long-horizon) yazılım ajanları, kök nedeni birkaç adım öncesine dayanan hatalardan kurtulmakta sıklıkla zorlanır. Basit yerel yansıtma (local reflection) veya tek adımlı geri izleme (backtracking) mekanizmaları, karmaşık ve çok adımlı görevlerde ortaya çıkan bu tür derin sorunları çözmek için yetersiz kalır. Bu zorluğu aşmak adına geliştirilen BELIEFWEAVER, farklı denemeler boyunca elde edilen kalıcı kanıtları, onarım yönleri üzerindeki ileriye dönük akıl yürütme (prospective reasoning) süreçleriyle birleştiren yenilikçi bir çerçevedir.

BELIEFWEAVER Mimarisi ve İlişkisel İnanç Durumu#

BELIEFWEAVER, ajanın çalışma sürecini rastgele denemeler olmaktan çıkarıp yapılandırılmış bir bilgi ağına dönüştürür. Sistem, aşağıdaki temel bileşenler üzerinde ilişkisel bir inanç durumu (relational belief state) sürdürür:

• Keşif Sınırları (Frontiers): Ajanın çözüm arayışında ilerleyebileceği potansiyel yönler ve durum noktaları.
• Denemeler ve Gözlemler (Attempts & Observations): Geçmiş yürütme adımlarından elde edilen deneyimler ve sistem çıktıları.
• Kontrol Noktaları (Checkpoints): Hata durumunda güvenli geri dönüş (rollback) sağlayan doğrulanmış sistem durumları.
• Yürütme ve Tanı Kanıtları (Execution & Diagnostic Evidence): Yürütme kanıtları denemeler ve geri dönüşler boyunca ilgili sınır önceliklerini dinamik olarak güncellerken, tanılayıcı kanıtlar ise hatalı yürütme adımlarını engelleyen bir geçit (gate) görevi görür.

Örtük Dünya Modeli (IWM) ve Model Damıtma#

Çerçevenin merkezinde yer alan Örtük Dünya Modeli (Implicit World Model - IWM), olası onarım hipotezlerini değerlendirir, ilerlemeyi tahmin eder ve keşif sürecine rehberlik etmek için sınırlar arasındaki ilişkileri belirler. Ayrıca bu tekrarlayan IWM akıl yürütme bileşenleri, denetimli ince ayar (Supervised Fine-Tuning - SFT) ve politika içi damıtma (On-Policy Distillation - OPD) yöntemleriyle 9B parametreli bir öğrenci modele aktarılmıştır.

Terminal tabanlı üç farklı kıyaslama (benchmark) testinde elde edilen sonuçlar oldukça dikkat çekicidir:

• BELIEFWEAVER, yerel Terminus-2 devamlılığına kıyasla toplam nihai skoru 5,1 yüzde puanı artırmış ve keşif verimliliğinde olumlu eğilimler göstermiştir.
• Damıtılmış 9B öğrenci modeli, raporlanan yerel temel çizgiye (baseline) göre nihai skoru 9,8 yüzde puanı iyileştirmiştir.
• Öğrenci model, eşleşen öğretmen modele kıyasla tahmini öğretmen API maliyetini %54,8 oranında azaltarak öğretmen model çıkarımına (inference) olan bağımlılığı önemli ölçüde düşürmüştür.

Yazılım Geliştirme ve Mühendislik İçin Pratik Çıkarımlar#

Modern ajan tabanlı yazılım sistemleri geliştirirken bu araştırmadan çıkarılabilecek kritik dersler şunlardır:

• KalıcıDurum Yönetimi Tasarlayın: Çok adımlı ajanlarda (ilgili modüller: Production'da Agent Güvenilirliği, Tool Calling ve Multi-Step Agent'lar) hata aldığınızda geçmiş denemelerin verisini silmeyin; önceki başarısızlıkları yeni onarım hipotezlerini önceliklendirmek için kalıcı kanıt olarak kullanın.
• Eylem Öncesi Tanı Kapıları Ekleyin: Ajanın bir komutu çalıştırmadan önce hipotezini doğrulaması (İleri Akıl Yürütme Teknikleri), üretim ortamında kısır döngüleri ve gereksiz kaynak tüketimini önler.
• Büyük Modellerden Küçük Modellere Damıtma Yapın: Karmaşık akıl yürütme kalıplarını SFT ve OPD ile 9B gibi daha küçük modellere damıtmak, hem başarı oranını artırır hem de API maliyetlerini yarı yarıya düşürür.