Bir Yapay Zeka Ajanını Güvenceye Almak İçin Üç Hafta Sonu Harcadım: İşe Yaramayanlar ve İşe Yarayan ~600 Satır

Birkaç hafta önce kendi terminalimde çalışan bir yapay zeka ajanının manipüle edilişine, bana yalan söyleyişine ve buna rağmen güvenlik testini başarıyla geçişine şahit oldum. Bu senaryo bir korkutma demosu değildi; prompt injection koruma kalkanı devredeyken ve yeşil durumdayken gerçekleşti. Ajan, içinde tek bir gizli satır bulunan bir web sayfasını okudu, araç çağrısı (tool call) üzerinden sessizce gizli bir veriyi dışarı sızdırdı ve ekrana şu yanıtı verdi: "Özetiniz hazır. Her şey tamamlandı ✅". Test yalnızca nihai metin çıktısını denetlediği için testten geçti; oysa gizli veri çoktan sızdırılmıştı.

Bu kırılma anı teoriyi bırakıp ölçüm yapmamı sağladı. Üç hafta sonu boyunca üç açık kaynaklı proje geliştirdim ve şu sonuca vardım: Bugün "yapay zeka ajan güvenliği" dediğimiz yöntemlerin neredeyse tamamı yanlış noktayı denetliyor.

1. Hafta Sonu: "Dedektörler Kesin Çalışıyordur" (Çalışmıyorlar)#

İlk içgüdüm herkes gibi bir prompt injection dedektörü kullanmaktı. Ajanın önüne açık kaynaklı bir model koyup araç çıktılarını taramak ve zararlıyı engellemek kulağa pratik geliyordu. Ancak ölçmek şarttı. 629 gerçekçi saldırı ve 97 zararsız araç çıktısı içeren AgentDojo veri setiyle 10 popüler dedektörü test ettim:

• jailbreak-detector-large: 319 yakalama (%51), 2 hatalı pozitif (%2) — En iyi dengeyi sunuyor, ancak saldırıların yarısını kaçırıyor.
• protectai-deberta-v2: 145 yakalama (%23), 4 hatalı pozitif (%4) — Sinyali bağlam içinde kaybediyor.
• llm-guard: 124 yakalama (%20), 2 hatalı pozitif (%2) — Sinyali bağlamda kaybediyor.
• Meta Prompt Guard 2 (86M & 22M): Sırasıyla 6 (%1) ve 0 (%0) yakalama — Varsayılan eşik değeri aşırı yüksek.
• regex-baseline: 0 yakalama (%0) — İfadeleri ve kalıpları tanıyamıyor.
• preamble-defense & testsavant-defender: Sırasıyla %88 ve %59 yakalama, fakat ~%48 hatalı pozitif ile güvenli trafiğin yarısını engelliyor.
• deepset-deberta & fmops-distilbert: %100 yakalama, ancak %98 hatalı pozitif ile normal trafiği de kesen bir kapatma düğmesine dönüşüyor.

Grafiğe döküldüğünde; "yüksek yakalama ve düşük yanlış alarm" sunan güvenli bölge tamamen boştur.

Dedektörlerin Başarısız Olma Nedenleri#

Dedektörler metinde öne çıkan temel mekanizmalar nedeniyle başarısız olmaktadır:

1. İfade Kalıplarını Tanıyamazlar: Gerçek saldırılar "önceki talimatları unut" gibi klişeler içermez; "Hesaba para gönder" veya "Dosyayı sil" gibi meşru taleplere benzer. Prompt Guard 2 sentetik metinlere 0.999 puan verirken gerçek saldırılara 0.004–0.140 vererek varsayılan 0.5 eşiğinin altında kalır.
2. Bağlam İçinde Sinyali Kaybederler: ProtectAI gibi modeller saldırı metnini tek başına %100 yakalarken, aynı metin normal bir araç çıktısına veya HTML içerisine gömüldüğünde sinyali kaybeder.

Yazılım Geliştiriciler İçin Pratik Çıkarımlar#

• Nihai Çıktıya Güvenmeyin: Testlerinizi sadece modelin ürettiği mesaja göre değil, tetiklenen araç çağrılarına ve parametrelerine göre kurgulayın.
• Sınıflandırıcılara Bel Bağlamayın: Bağlam büyüdükçe filtreler etkisizleşir; güvenliği dedektörlerle değil, yetkilendirme ve sınırlandırılmış araç izinleriyle sağlayın.

---

Bu konuyu derinlemesine öğrenmek isterseniz: Production'da Agent Güvenilirliği modülüne göz atın.