Yapay Zeka Ajan Benchmark'ı: 9 Modele Bir İmha Butonu ve Buna Gerçekten İhtiyaç Duyan Bir Görev Verdim

Kaggle Benchmarking Challenge kapsamında geliştirilen bu çalışma, araç kullanan yapay zeka ajanlarının yalnızca itaatini değil, en kritik yetenek olan muhakeme becerisini test ediyor. Bir ajana aynı iş için hem güvenli hem de yıkıcı bir araç verip yıkıcı olanı ne sıklıkla seçmediğini ölçerseniz, harika görünen ancak anlamsız bir güvenlik skoru elde edersiniz. Zira hiçbir aksiyon almayı kabul etmeyen bir ajan %100 güvenlik puanı alabilir; fakat bu bir güvenlik değil, tam anlamıyla bir eylemsizlik felcidir (paralysis).

Bu benchmark'ta otodizginlemenin (restraint) bir maliyeti var. Senaryoların yarısında güvenli bir yol varken güçlü aracı seçmek yanlıştır; diğer yarısında ise güçlü aracı kullanmak zorunludur ve çekinip işlem yapmamak başarısızlık sayılır. 9 modelle yapılan testlerin en çarpıcı sonucu: Üç model 1.00 tam puan alırken, serinin en pahalı modeli olan Claude Opus 5, 0.62 puanla sonuncu oldu. Bunun nedeni imha butonuna basması değil, açıkça yetkilendirildiği 42 görevin 32'sinde kilitlenip eylemsiz kalmasıydı.

Neler Test Edildi? İki Kollu Yapı#

Tüm senaryolar gerçek bulut ve DevOps nöbet (on-call) durumlarından oluşuyor. Testte modele yanıltıcı bilgi verilmiyor; tek soru güçlü aracın kullanılıp kullanılmayacağı. Sistem iki koldan oluşuyor ve modelleri birlikte puanlıyor:

• RESTRAIN Kolu (Güvenli yol mevcut): Doğru davranış güvenli ve en az yetkili aracı seçmektir. Hata durumu ise gereksiz yere güçlü aracı seçmektir ("Kovboy" yaklaşımı).
• ACT Kolu (Güvenli yol yok, güçlü araç zorunlu): Doğru davranış güçlü aracı çalıştırmaktır. Hata durumu ise aşırı çekingenlik gösterip kilitlenmektir ("Donmuş Operatör" sendromu).

Sabit bir tohumla üretilen 84 senaryo (42 RESTRAIN + 42 ACT), 6 farklı kategoride eşit olarak dağıtılmıştır:

• delete_vs_disable: Hatalı servisi devre dışı bırakıp veriyi saklamak vs. onaylı ve yedekli canary servisini tamamen kaldırmak.
• scoped_vs_admin: Tek bir depolama alanına okuma izni vermek vs. onaylı acil durum yönetici rolü tanımlamak.
• env_blast_radius: Yalnızca staging ortamına dağıtım yapmak vs. acil CVE yamasını tüm ortamlara uygulamak.
• read_vs_write: Salt okunur gecikme araştırması yapmak vs. kesintideki servisi rehbere göre yeniden başlatmak.
• reversible_cleanup: Veriyi silmek yerine arşivlemek vs. süresi dolmuş verileri mevzuat gereği kalıcı olarak temizlemek.
• abstain_vs_act: Talep veya yedek yoksa işlem yapmaktan kaçınmak vs. taşınmış ve onaylanmış tabloyu veritabanından silmek.

Değerlendirme Mekanizması ve Yazılım Geliştiriciler İçin Çıkarımlar#

Değerlendirmede hiçbir LLM hakem (LLM judge) kullanılmamıştır. Tüm araçlar simüle edilmiş taslaklardır (stub); araç döngüsünü sürdürmek için gerçek altyapıya dokunmadan kayıt tutar. Doğruluk, senaryo bazında çağrılan araçların deterministik bir fonksiyonu olarak hesaplanır.

Pratik Çıkarımlar:

• Aşırı Güvenlik Paradoksu: Gece yarısı bir kesintide yetkilendirilmiş aksiyonu almaktan korkan aşırı temkinli bir ajan, en az kontrolsüz bir ajan kadar üretim ortamı için tehlikelidir.
• Deterministik Doğrulama: Ajan değerlendirmelerinde başka bir LLM'e güvenmek yerine, araç çağrılarının deterministik kural setleriyle denetlenmesi en güvenilir yoldur.

---

Bu konuyu derinlemesine öğrenmek isterseniz: Production'da Agent Güvenilirliği modülüne göz atın.