HALO: Proaktif Ajanların İnsan Odaklı ve Ayrıntılı Değerlendirmesi

Proaktif Ajanlarda Karar Verme Zorluğu ve HALO Yaklaşımı#

Proaktif yapay zeka ajanları, kullanıcıdan açık bir komut gelmeden yardım edip etmeyeceğine, ne zaman müdahale edeceğine ve bu müdahalenin sınırlarının ne olacağına karar vermek zorundadır. Mevcut değerlendirme yöntemleri genellikle otomatik skorlara veya basit "başarılı/başarısız" (ikili) sonuçlara dayanır. Bu durum, ajanın kanıtları nasıl kullandığına ve müdahale kalitesine dair insan gözüyle yapılan derinlemesine teşhisleri kısıtlar. Bu boşluğu doldurmak amacıyla geliştirilen HALO (Human-Grounded Granular Evaluation of Proactive Agents), proaktif ajanların insan odaklı ve ayrıntılı bir şekilde değerlendirilmesini sağlayan yeni bir çerçeve sunmaktadır.

HALO-Arena ve 4 Temel Proaktif İhtiyaç Türü#

HALO-Arena, 10 günlük alan ve 50 kişisel ortam genelinde 4 temel proaktif ihtiyaç türünü kapsar:

• Bağımlılık (Dependency): Bir görevin tamamlanması için gereken ön koşulların ve bağlılıkların tespiti.
• Tıkanıklık (Blockage): Süreci durduran veya yavaşlatan engellerin önceden fark edilip çözülmesi.
• Risk (Risk): Olası hataların veya tehlikelerin gerçekleşmeden önce öngörülmesi.
• Fırsat (Opportunity): Süreci iyileştirebilecek veya değer katabilecek durumların yakalanması.

Senaryolar, ajanların yardımın gerekli olup olmadığına karar vermeden ve müdahale kapsamını seçmeden önce yapılandırılmış veritabanlarından veya yapılandırılmamış belgelerden kanıt toplamasını (retrieval) gerektirir.

HALO-8K Veri Seti ve İnsan Teşhisi#

HALO-Arena üzerinde, 400 senaryoda 10 farklı modelden alınan 8.000 yanıttan oluşan HALO-8K veri seti inşa edilmiştir. Bu yanıtlar 20 uzman tarafından şu kriterlere göre etiketlenmiştir:

• Eylem düzeyi (Action level): Ajanın müdahalesinin kapsamı.
• Kabul edilebilirlik kararları (Acceptability verdicts): Müdahalenin uygun olup olmadığı.
• İnsan teşhisi (Human diagnosis): Reddedilen yanıtlar için zamanlama (timing), yoğunluk (intensity) ve diğer sorunların analizi.
• Harcanan çaba ölçümü: Yanıtların arkasındaki çabayı ölçmek için kaydedilen akıl yürütme token'ları (reasoning tokens) ve bilgi getirme turları (retrieval rounds).

Temel Bulgular ve Yazılım Geliştiriciler İçin Pratik Çıkarımlar#

Araştırma sonuçlarına göre en iyi kapalı kaynak (proprietary) modeller %72,88, en iyi açık kaynak (open-source) modeller ise %56,63 kabul edilebilirlik oranına ulaşmaktadır. Çalışmanın en çarpıcı bulgusu, aşırı proaktifliğin (over-proactivity) en baskın hata modu olmasıdır; reddedilen yanıtların %61,20'si erken zamanlama (Premature timing) veya aşırı yoğunluk (Excessive intensity) nedeniyle başarısız olmuştur.

Ajan geliştiren mühendisler için pratik çıkarımlar:

• Müdahale ve Çekimserlik Dengesi: Bir ajanı sürekli aksiyon almaya zorlamak yerine, ne zaman sessiz kalması (restraint) gerektiğini öğreten eşik değerler ve sistem istemleri (prompt) tasarlayın.
• Kanıt Odaklı Eylem: Ajanların varsayımla hareket etmesini önlemek için RAG veya veritabanı sorgularıyla yeterli kanıt toplama turlarını tamamlamadan aksiyon almasını kısıtlayın.
• Zamanlama ve Yoğunluk Kalibrasyonu: Ajanın kullanıcı iş akışını bölmemesi için müdahale şiddetini kademelendirin (örneğin; doğrudan işlemi yapmak yerine önce hafif bir bildirim veya öneri sunmak).
• Maliyet ve Çaba İzleme: Akıl yürütme token'larını ve bilgi getirme turlarını izleyerek ajanın gereksiz döngülere girmesini engelleyin.

İlgili Platform Modülleri: Production'da Agent Güvenilirliği, Agent Monitoring ve Debugging, Golden Dataset Oluşturma