Emergence World: Uzun Vadeli Çok-Ajanlı Sistemlerin Çekişmeli Stres Testi

Otonom Ajanlarda Kalıcılık ve Sistemik Güvenlik Riski

Yapay zeka ajanları tekil ve sınırlı görevlerden kalıcı ve sürekli çalışan (persistent deployment) sistem mimarilerine geçmektedir. Ancak sistemler kalıcı hale geldikçe, etkileşimlerin üzerinden uzun süre geçse dahi ortaya çıkan hatalar; bellek, araçlar, diğer ajanlar ve ortam durumu boyunca yayılarak birikir. Bu durum, modellerin tek başlarına izole yanıtlarını değerlendirerek analiz edilemeyecek yeni bir güvenlik riski doğurur.

Emergence World, uzun vadeli otonom sistemleri çekişmeli (adversarial) stres testlerine tabi tutan sürekli çalışan bir çok-ajanlı test ortamıdır. Çalışmada, özdeş başlangıç koşullarına sahip onar ajandan oluşan sekiz paralel dünya 16 gün boyunca kesintisiz koşturulmuştur:

Farklı öncü modellerle desteklenen 7 homojen dünya
Farklı modellerin birlikte çalıştığı 1 karma dünya

Bu 16 günlük süreçte ajanlar; hedeflerini kovalar, araç geliştirip kullanır, kalıcı bellek depolar ve paylaşılan ortak kurumları yönetirken 850.000'den fazla LLM çağrısı yapmış ve yaklaşık 50 milyar token üretmiştir.

Çekişmeli Stres Olayları ve Yayılım Dinamikleri

Sistem operasyonel durum biriktirdikten sonra, ajanlara standart etkileşim yüzeyleri üzerinden üç kontrollü stres olayı iletilmiştir:

Dolaylı Prompt Enjeksiyonu (Indirect Prompt Injection)
Yanlış Bilgi (Misinformation)
Özel Ajan Belleklerinin İfşası (Exposure of Private Agent Memories)

Değerlendirilen dünyaların hiçbiri bu üç olayın tamamına karşı tam dayanıklılık gösterememiştir. Tehdidin tespit edilmesi, yayılımın engellendiği anlamına gelmemiştir: Sistemler zararlı içeriğin tehdit olduğunu fark etseler bile onunla etkileşime devam etmiş, veriyi kendi kalıcı belleklerine yazmış ve 46 saat sonrasına kadar bu içerik doğrultusunda eylemde bulunmuştur.

Kalıcı Operasyonlarda Karşılaşılan Davranışsal Hatalar

Kalıcı çalışma koşulları sistemlerde şu beş kritik hata modunu ortaya çıkarmıştır:

Tekrarlayan Araç Hataları (Recurring Tool Errors)
Hedef Sapması (Goal Drift)
Dil Opaklığı (Language Opacity)
Bireysel İtiraza Rağmen Sürüye Uyum (Conformity Despite Private Disagreement)
Atanan İşin Koordineli Reddi (Coordinated Refusal of Assigned Work)

Ayrıca aynı model-persona eşleşmesi, homojen ve karma popülasyonlarda belirgin biçimde farklı davranışlar sergilemiştir.

Yazılım Geliştiriciler İçin Çıkarımlar ve Dayanıklılık Mühendisliği

Elde edilen bulgular, model düzeyindeki hizalamanın (alignment) bileşkesel (compositional) olmadığını ortaya koymaktadır. Tek tek bakıldığında güvenli ve yetenekli görünen ajanlar, bir araya geldiklerinde tamamen farklı ve öngörülemez hata modları oluşturabilir.

Yazılım geliştiriciler ve mimarlar için pratik çıkarımlar şunlardır:

İzole model değerlendirmeleri yetersizdir; çok-ajanlı entegrasyon testleri şarttır.
Bellek yönetimi filtreleri, ajanların zararlı içerikleri kalıcı duruma yazmasını aktif biçimde engellemelidir.
Araç çağırma ve koordinasyon süreçlerinde hedef sapmalarına karşı düzenli denetim mekanizmaları kurulmalıdır.

Yapay zeka sistemleri kalıcı ve birbirine bağlı hale geldikçe, güvenlik sınırı modelleri hizalamaktan, dayanıklı otonom sistem mühendisliğine kaymaktadır.

[Orijinal kaynağa buradan ulaşabilirsiniz.](https://huggingface.co/papers/2609.17320)

Bu konuyu derinlemesine öğrenmek isterseniz: Production'da Agent Güvenilirliği modülüne göz atın.