---
title: "RealCLI: CLI Ajanları İçin İnsan-Ajan İş Birliğinin Birleşik Değerlendirmesine Doğru"
url: https://blog.edumints.com/realcli-cli-ajanlari-icin-insan-ajan-is-birliginin-birlesik
category: "Yazılım"
date: 2026-10-29T15:05:15.910Z
publisher: Edumints Blog
lang: tr-TR
source_name: "Hugging Face Papers"
source_url: https://huggingface.co/papers/2610.22507
---

# RealCLI: CLI Ajanları İçin İnsan-Ajan İş Birliğinin Birleşik Değerlendirmesine Doğru

## Giriş ve Mevcut Değerlendirme Boşluğu

Komut satırı arayüzü (CLI) ajanları, yazılım geliştirme süreçlerinde giderek daha uzun ufuklu ve karmaşık görevleri yerine getirmektedir. Ancak mevcut kıyaslama (benchmark) testleri ya kullanıcı talimatlarının çalışma süresi boyunca sabit kaldığını varsaymakta ya da çalışma zamanındaki iş birliği kalitesini yakalamadan yalnızca görev çıktılarını değerlendirmektedir. Gerçek dünya yazılım mühendisliğinde ise gereksinimler dinamiktir; geliştiriciler süreç içinde geri bildirim verir ve yönlendirmelerde bulunur. Bu makalede sunulan **REALCLI**, gerçekçi CLI görevlerinde hem görev yürütme başarısını hem de insan-ajan iş birliği kalitesini birleştiren eşleştirilmiş bir değerlendirme çerçevesidir.

## REALCLI Mimarisinin Yapısı ve Çalışma Modları

İş birliğini kapsamlı bir şekilde ölçmek amacıyla **REALCLI**, 22 alt boyuta ve 51 etkileşim senaryosu şablonuna dönüştürülmüş beş boyutlu bir çerçeve inşa eder. Sistem, eşleştirilmiş karşılaştırma yapılabilmesi için iki farklı mod sunar:

- **REALCLI-EXEC**: Görev için gerekli tüm spesifikasyonları ve gereksinim bilgilerini başlangıçta eksiksiz olarak sağlar.
- **REALCLI-COLLAB**: Süreç ilerledikçe aşamalı bilgi sağlayan, hataları düzelten, kısıtlamaları revize eden ve yetkilendirme kararları veren senaryolaştırılmış bir kullanıcıyı devreye sokar.

## Değerlendirme Sonuçları ve Yetenek Boşlukları

Yapılan kapsamlı değerlendirmeler, en gelişmiş (frontier) ajanlarda bile derin yetenek boşlukları olduğunu ortaya koymaktadır:

- En iyi yapılandırma yalnızca **%49,2**'lik bir ortalama puana ulaşabilmektedir.
- Ortak iş birliği skoru (**J_{collab}**) ile değerlendirildiğinde ise zirve performans sadece **%37,6** seviyesinde kalmaktadır.
- Bu sonuçlar, görev etkinliğinin iş birliği kalitesinden keskin bir şekilde ayrıştığını göstermektedir.
- Modeller; **yönlendirilebilirlik (steerability)**, **güven kalibrasyonu (trust calibration)** ve **güvenlik sınırı yönetimi (safety boundary management)** konularında istikrarlı bir şekilde zorlanmaktadır.

## Yazılım Geliştirme ve Öğrenme Açısından Pratik Çıkarımlar

**REALCLI**, iş birlikçi CLI ajanlarını ölçmek ve geliştirmek için titiz ve tekrarlanabilir bir temel sunar. Yazılım geliştiriciler ve yapay zeka mühendisleri için bu bulgular kritik pratik dersler içermektedir:

- **Çok Adımlı Ajan Tasarımı**: *Tool Calling ve Multi-Step Agent'lar* geliştirilirken, ajanın sadece ilk komutu anlaması yeterli değildir; çalışma anında gelen kısıtlama değişikliklerine uyum sağlayacak esnek durum (state) yönetimi kurgulanmalıdır.
- **Üretimde Güvenilirlik ve İzleme**: *Production'da Agent Güvenilirliği* ve *Agent Monitoring ve Debugging* süreçlerinde, kritik terminal komutları çalıştırılmadan önce insan onayı (human-in-the-loop) mekanizmaları ve güvenlik sınırları zorunlu tutulmalıdır.
- **Etkileşimli Değerlendirme Stratejileri**: *AI Test Stratejileri* kapsamında yalnızca statik test kümeleri kullanmak yerine, **REALCLI-COLLAB** yaklaşımında olduğu gibi dinamik kullanıcı düzeltmelerini simüle eden senaryolar test süreçlerine dahil edilmelidir.

---

**Kaynak:** Hugging Face Papers (https://huggingface.co/papers/2610.22507)
**Yayıncı:** [Edumints Blog](https://blog.edumints.com) · Alıntılarken bu URL'ye bağlantı verin: https://blog.edumints.com/realcli-cli-ajanlari-icin-insan-ajan-is-birliginin-birlesik