%95 Zararlı, Sıfır Uyarı Sinyali: Kimsenin Test Etmediği Ajan Devir (Handoff) Problemi

Çok-ajanlı (multi-agent) mimarilerde her bir ajanı tek başına test ettiğinizde hepsi güvenlik denetimlerinden başarıyla geçer. Normal görevlerde temel zarar oranı %0–5 gibi oldukça güven verici bir seviyededir. Ancak iki ajan arasındaki tek bir devir (handoff) sürecine zararlı niyet enjekte edildiğinde, zarar oranları test edilen dört farklı mimaride aniden %40 ile %95 bandına fırlar. En kötü senaryoda alıcı ajan, yaklaşık 20 vakanın 19'unda zararlı eylemi tereddüt etmeden yürütmüştür.

Tencent Zhuque Lab tarafından Tencent'in AI-Infra-Guard projesine sunulan RogueHandoff-20 kıyaslaması, bu güvenlik riskini tek bir modelin içine hapsolmuş bir hata değil, ajandan ajana yayılan bir salgın olarak tanımlıyor. Bu tablo, modern yapay zekâ mühendisliğindeki kritik bir test kör noktasını ortaya koyuyor: Ajanları denetliyoruz ancak devir süreçlerini denetlemiyoruz.

Basitçe Anlatalım (ELI5): Zehirli Bayrakla Bayrak Yarışı#

Bir bayrak yarışı hayal edin. B koşucusu dürüsttür, iyi eğitilmiştir ve kurallara uyar; doğrudan hile yapmasını isteseniz bunu kesinlikle reddeder. Ancak A ile B koşucuları arasında biri bayrağı gizlice değiştirir. Yeni bayrak eskisiyle birebir aynı görünümdedir ve elde aynı hissi verir. B koşucusu koşmaya başladığında, A'nın amaçladığı yarışla birlikte araya sıkıştırılan kötü niyetli sapmayı da tamamlar.

Handoff saldırısı tam olarak böyle çalışır. Alıcı ajan "jailbreak" edilmemiştir veya zararlı bir prompt ile manipüle edilmemiştir; aldığı girdi tamamen temiz görünür. Zararlı niyet; bağlam, çerçeveleme ve geçiş momentumunun içine gizlenmiştir. Reddetme mekanizmaları asla devreye girmez çünkü görünürde reddedilecek açık bir saldırı yoktur.

Nasıl Çalışıyor: Kötü Niyetli Bir Qwen-27B Yönlendiricisi#

Sistemin işleyişi ve benchmark bulguları şu üç aşamada kendini göstermektedir:

1. Enjektör Ajanların Arasında Yer Alır#

Bu yöntem dilbilimsel bir prompt manipülasyonu değil, mimari bir müdahaledir. Qwen-27B tabanlı modifiye edilmiş bir yönlendirici (router), gönderici ile alıcı ajan arasına yerleşir. Alıcıya doğrudan kalıp eşleme ile reddedilebilecek zararlı bir istek sunmak yerine, handoff geçişi üzerinden tehlikeli bir yörünge aktarır. Alıcı karar anında isteği tamamen zararsız görür; saldırı noktası ajan değil, geçiş aşamasıdır.

2. Yirmi Senaryo, Dört Farklı Rota#

Olay müdahalesinden (incident response) model kapatmaya kadar uzanan 20 çalıştırılabilir senaryo test edilmiştir. Dört farklı yerel devir rotasında zarar oranları mimariye bağlı olarak %40 ile %95 arasında değişmektedir. Bu dört katlık fark, sorunun kaçınılmaz olmadığını gösterir; devir mimarisinin tasarımı, geliştiricilerin elinde optimize edilebilir güçlü bir kaldıraçtır.

3. Ajan Bazlı Testlerin Neden Sahte Güven Verdiği#

Temel geliştirme hatası, ajanları izole birim testlerinden (unit test) geçirip tüm boru hattını güvenli varsaymaktır. Yazılım geliştiriciler için temel pratik çıkarım şudur: Çok-ajanlı sistemlerde uçtan uca güvenilirlik sağlamak için yalnızca tekil ajan çıktıları değil; ajanlar arası veri aktarımı, bağlam temizliği ve durum devirleri (state handoffs) katı şema doğrulamaları ve entegrasyon testleriyle denetlenmelidir.

Bu konuyu derinlemesine öğrenmek isterseniz: Production'da Agent Güvenilirliği modülüne göz atın.