AgentWorld: Çok-Ajanlı LLM Sistemlerinde Uzun Vadeli İş Birliğinin Kıyaslanması

Büyük dil modellerine (LLM) dayalı çok-ajanlı sistemler, karmaşık yazılım geliştirme ve operasyon süreçlerini otonom ekipler halinde yürütme konusunda büyük bir potansiyel sunmaktadır. Ancak bu sistemlerin uzun vadeli ve gerçek iş birliği yeteneklerini ölçmek, mevcut değerlendirme yöntemleriyle oldukça zordur. AgentWorld, çok-ajanlı sistemlerin uzun ufuklu iş birliği performansını kapsamlı biçimde değerlendirmek üzere geliştirilmiş yeni nesil bir kıyaslama (benchmark) platformudur.

AgentWorld ve Uzun Vadeli İş Birliğinin Boyutları

Mevcut Kıyaslamaların Kısıtları: Mevcut çok-ajanlı test ortamları çoğunlukla rekabetçi senaryoları, 20 adımın altındaki kısa vadeli etkileşimleri değerlendirmekte veya bireysel ajan başarılarını kümülatif olarak toplamaktadır. Bu yaklaşımlar, LLM tabanlı ajanların gerçek takım çalışması ve ortak problem çözme becerilerini izole edip doğru şekilde ölçmekte yetersiz kalmaktadır.
AgentWorld Benchmark'ı: Uzun ufuklu çok-ajanlı iş birliğini ölçmek amacıyla 100 adet insan tarafından etiketlenmiş görev ve bunlara ek olarak 100 adet zenginleştirilmiş varyant sunulmaktadır.
MMORPG Sandbox ve Kara Kutu Mimarisi: Görevler, zengin bir MMORPG simülasyon sandbox'ı üzerinde 50'den fazla etkileşim turunu kapsamaktadır. Asimetrik rollere ve farklı yeteneklere sahip 3 ila 20 ajanın; iletişim, ortak planlama ve kaynak paylaşımı yoluyla koordine olması beklenir. Her ajanın diğerlerinin iç durumlarına veya düşünce zincirlerine erişemediği bağımsız bir kara kutu (blackbox) senaryosu uygulanmaktadır.
Nedensel İş Birliği Etkinliği (CCE): Klasik ikili (başarılı/başarısız) metriklerin ötesine geçmek için grafik tabanlı Causal Collaboration Effectiveness (CCE) metriği önerilmiştir. CCE, ajanların eylemleri arasındaki nedensel bağımlılıkları takip ederek takımın harcadığı toplam çabanın ne kadarının nihai sonuca doğrudan katkı sağladığını niceliksel olarak ölçer.
Model Deneyleri ve Hata Modları: Gemini 3 Flash, Claude Haiku 4.5, GPT-5 Mini ve DeepSeek R1-70B modelleriyle yürütülen deneylerde, en iyi performans gösteren model dahi yalnızca %52,0 görev başarısı elde edebilmiştir. Süreç boyunca iletişim kopuklukları, rol karmaşası ve turlar ilerledikçe paylaşılan planların korunamaması gibi sistematik hata modları tespit edilmiştir.
Açık Kaynak Standartları: AgentWorld, araştırmacıların ve mühendislerin koordinasyon algoritmalarını geliştirebilmesi adına tamamen açık kaynaklı olarak sunulmuştur.

Yazılım Geliştiriciler İçin Pratik Çıkarımlar

Rol Netliği ve Şema Denetimi: Rol karmaşasını engellemek için ajan sistem prompt'ları katı sınırlarla çizilmeli, fonksiyonel araç yetkileri ayrıştırılmalıdır.
Durum ve İletişim Yönetimi: 50 turu aşan görevlerde bağlam şişmesini önlemek adına yapılandırılmış durum makineleri ve özetleme katmanları tasarlanmalıdır.
Nedensel İzlenebilirlik: Çok-ajanlı mimarilerde sadece görevin bitip bitmediğine değil, CCE yaklaşımında olduğu gibi hangi ajanın hangi adımla sonuca gerçek katkı sunduğuna odaklanılmalıdır.

Orijinal kaynağa buradan ulaşabilirsiniz.

Bu konuyu derinlemesine öğrenmek isterseniz: CrewAI: Rol Tabanlı Ajan Ekipleri modülüne göz atın.