RealCLI: CLI Ajanları İçin İnsan-Ajan İş Birliğinin Birleşik Değerlendirmesine Doğru

Giriş ve Mevcut Değerlendirme Boşluğu#

Komut satırı arayüzü (CLI) ajanları, yazılım geliştirme süreçlerinde giderek daha uzun ufuklu ve karmaşık görevleri yerine getirmektedir. Ancak mevcut kıyaslama (benchmark) testleri ya kullanıcı talimatlarının çalışma süresi boyunca sabit kaldığını varsaymakta ya da çalışma zamanındaki iş birliği kalitesini yakalamadan yalnızca görev çıktılarını değerlendirmektedir. Gerçek dünya yazılım mühendisliğinde ise gereksinimler dinamiktir; geliştiriciler süreç içinde geri bildirim verir ve yönlendirmelerde bulunur. Bu makalede sunulan REALCLI, gerçekçi CLI görevlerinde hem görev yürütme başarısını hem de insan-ajan iş birliği kalitesini birleştiren eşleştirilmiş bir değerlendirme çerçevesidir.

REALCLI Mimarisinin Yapısı ve Çalışma Modları#

İş birliğini kapsamlı bir şekilde ölçmek amacıyla REALCLI, 22 alt boyuta ve 51 etkileşim senaryosu şablonuna dönüştürülmüş beş boyutlu bir çerçeve inşa eder. Sistem, eşleştirilmiş karşılaştırma yapılabilmesi için iki farklı mod sunar:

• REALCLI-EXEC: Görev için gerekli tüm spesifikasyonları ve gereksinim bilgilerini başlangıçta eksiksiz olarak sağlar.
• REALCLI-COLLAB: Süreç ilerledikçe aşamalı bilgi sağlayan, hataları düzelten, kısıtlamaları revize eden ve yetkilendirme kararları veren senaryolaştırılmış bir kullanıcıyı devreye sokar.

Değerlendirme Sonuçları ve Yetenek Boşlukları#

Yapılan kapsamlı değerlendirmeler, en gelişmiş (frontier) ajanlarda bile derin yetenek boşlukları olduğunu ortaya koymaktadır:

• En iyi yapılandırma yalnızca %49,2'lik bir ortalama puana ulaşabilmektedir.
• Ortak iş birliği skoru (J_{collab}) ile değerlendirildiğinde ise zirve performans sadece %37,6 seviyesinde kalmaktadır.
• Bu sonuçlar, görev etkinliğinin iş birliği kalitesinden keskin bir şekilde ayrıştığını göstermektedir.
• Modeller; yönlendirilebilirlik (steerability), güven kalibrasyonu (trust calibration) ve güvenlik sınırı yönetimi (safety boundary management) konularında istikrarlı bir şekilde zorlanmaktadır.

Yazılım Geliştirme ve Öğrenme Açısından Pratik Çıkarımlar#

REALCLI, iş birlikçi CLI ajanlarını ölçmek ve geliştirmek için titiz ve tekrarlanabilir bir temel sunar. Yazılım geliştiriciler ve yapay zeka mühendisleri için bu bulgular kritik pratik dersler içermektedir:

• Çok Adımlı Ajan Tasarımı: Tool Calling ve Multi-Step Agent'lar geliştirilirken, ajanın sadece ilk komutu anlaması yeterli değildir; çalışma anında gelen kısıtlama değişikliklerine uyum sağlayacak esnek durum (state) yönetimi kurgulanmalıdır.
• Üretimde Güvenilirlik ve İzleme: Production'da Agent Güvenilirliği ve Agent Monitoring ve Debugging süreçlerinde, kritik terminal komutları çalıştırılmadan önce insan onayı (human-in-the-loop) mekanizmaları ve güvenlik sınırları zorunlu tutulmalıdır.
• Etkileşimli Değerlendirme Stratejileri: AI Test Stratejileri kapsamında yalnızca statik test kümeleri kullanmak yerine, REALCLI-COLLAB yaklaşımında olduğu gibi dinamik kullanıcı düzeltmelerini simüle eden senaryolar test süreçlerine dahil edilmelidir.