Daha Fazla Bellek, Daha Kötü Ajanlar: LLM Ajanlarında Hata Üretimi ve Anti-Kalıcılık

Deneyim Birikimi ve Soyutlama İkilemi#

Büyük Dil Modeli (LLM) ajanları, model parametrelerini güncellemeye gerek kalmadan kendi çalışma geçmişlerinden elde ettikleri deneyimleri harici bir bellekte saklayarak ve bu bilgileri sonraki kararlarında yeniden kullanarak görevler genelinde kendilerini geliştirebilirler. Ancak yazılım mimarisi açısından burada merkezi bir tasarım sorusu ortaya çıkar: Bellekte yalnızca gözlemlenen çalışma yörüngeleri (trajectories) ve sonuçlar mı tutulmalı, yoksa bunlardan çıkarılan kurallar, özetler ve beceriler gibi soyutlamalar da kalıcı hale getirilmeli midir?

Bu soyutlamaları bellekte tutmak, ajanların ham verilerden her seferinde yeniden strateji türetmek zorunda kalmadan mevcut stratejileri doğrudan yeniden kullanmasına olanak tanır. İlk bakışta bu yaklaşım mühendislik açısından verimli bir önbellekleme (caching) stratejisi gibi görünse de ciddi bir yapısal risk barındırır.

Hata Üretimi (Error Reproduction) Döngüsü#

Saklanan soyutlamalardaki hatalar, geri getirme (retrieval) ve yeniden kullanım süreçleri aracılığıyla sonraki kararlara doğrudan yayılabilir. Daha da önemlisi, bu hatalı soyutlamalar ajanın yeni çalışma yörüngelerini şekillendirir ve bu yörüngeler daha sonra orijinal hataları birebir yeniden üreten yeni soyutlamaların temeli haline gelir.

Makalede bu geri bildirim mekanizması hata üretimi (error reproduction) olarak adlandırılmaktadır:

• Hatalar; soyutlama, yürütme ve yeniden soyutlama döngüsü aracılığıyla sürekli yeniden üretilir.
• Hatalı bilginin kalıcılığı, orijinal kusurlu kuralın doğrudan yeniden kullanılmasının çok ötesine geçerek sistemin davranışına yerleşir.
• Üretim ortamındaki (production) ajan sistemlerinde bu durum, yanlış öğrenilmiş bir kuralın tüm karar mekanizmasını zehirlemesi anlamına gelir.

Çözüm: Anti-Kalıcılık (Anti-Persistence) Mimarisi#

Araştırmacılar bu sorunu aşmak için görev özelinde rehberliği ihtiyaç anında (on-demand) yeniden inşa ederken, yalnızca ham yörüngeleri ve sonuçları biriktiren bir bellek tasarımı olan Anti-Kalıcılık (Anti-Persistence) yaklaşımını önermektedir:

• Uyarlanabilir Seçici (Adaptive Selector): Önceki sonuçları kullanarak rehberliğin sentezlenip sentezlenmeyeceğine ve nasıl sentezleneceğine karar verir.
• Kullan-At Soyutlama: Üretilen rehberlik bilgisi yalnızca ilgili görev yürütülürken kullanılır ve yürütme tamamlandıktan hemen sonra silinir.
• Güvenli Geri Bildirim: Soyutlamaların kalıcı bir nesne olarak saklanıp doğrudan yeniden kullanılması engellenir; yalnızca korunan ham yörüngeler üzerinden dolaylı geri bildirim mümkün kalır.

Performans Sonuçları ve Geliştiriciler İçin Pratik Çıkarımlar#

Farklı kıyaslama testleri (benchmarks) ve model omurgaları (backbones) üzerinde yapılan değerlendirmelerde Anti-Persistence, incelenen bellek tasarımları arasında en yüksek genel başarı oranına ve en düşük ortalama LLM çağrı maliyetine ulaşmıştır. Bu sonuçlar, bellek tabanlı öz-gelişim sistemlerinde deneyim birikimi ile soyutlama kalıcılığının birbirinden ayrılması gerektiğini güçlü biçimde desteklemektedir.

Ajan geliştiren yazılım mühendisleri için temel çıkarımlar şunlardır:

• Production'da Agent Güvenilirliği: Ajanların kendi çıkardığı kuralları kalıcı veritabanına yazmasına izin vermek yerine, ham işlem kayıtlarını (log/trajectory) saklayın ve stratejileri çalışma zamanında dinamik olarak sentezleyin.
• Agent Monitoring ve Debugging: Hata üretimi döngülerini tespit etmek için ajanların hangi geçmiş deneyimlere dayanarak karar verdiğini izleyin ve hatalı soyutlamaları kalıcı bellek katmanından izole edin.
• Maliyet ve Ölçeklendirme: Gereksiz ve hatalı kuralları bellekte biriktirmekten kaçınmak, hem bağlam penceresi kirliliğini önler hem de toplam API çağrı maliyetini düşürür.