Araç Kullanan Ajanlarda Saldırı ve Savunmaya Durum Tabanlı Bakış: SEAD

Araç Kullanan Ajanlar ve Durum Bağımlı Güvenlik Açıkları#

Büyük dil modelleri (LLM), harici sistemler üzerinde araçlar (tool calling) kullanarak eylemler gerçekleştirdikçe yeni güvenlik dinamikleri ortaya çıkmaktadır. Ajanın önceki adımlarında dosya sisteminde, kullanıcı izinlerinde veya veritabanı kayıtlarında yaptığı değişiklikler, daha sonra çalıştırılan ve tamamen rutin görünen bir eylemi zararlı hale getirebilir. Buna karşın, dışarıdan gözlemlenen etkileşim geçmişi, eylemin gerçek etkisini değerlendirmek için gereken temel sistem durumunu (state) yansıtmayabilir.

SEAD: Kısmi Gözlemlenebilir Durum Kontrolü#

SEAD çerçevesi, ajan sistemlerindeki saldırı ve savunma süreçlerini kısmi gözlemlenebilir durum kontrolü olarak formüle eder ve tasarım gereksinimlerini bu ortak yürütme sürecinden türetir:

• DART ile Yörünge Aramalı Saldırı Modeli: Saldırganın üst düzey talimatlar sağladığı, hedef ajanın ise somut eylemleri seçtiği yapılarda DART, zararlı hedefleri yerel olarak makul görünen adımlara böler. Gerçek araç yürütme geri bildirimlerini kullanarak yörünge aramasını (trajectory search) yönlendirir.
• SAGE ile Proaktif ve Sorgu Tabanlı Savunma: Savunma mekanizması, yürütme öncesinde eksik durum kanıtlarıyla karar vermek zorundadır. SAGE, herhangi bir eyleme izin vermeden veya eylemi engellemeden önce salt okunur (read-only) sorgularla ilgili sistem durumunu inceler; ayrıca bir engelleme sonrasında önerilen alternatif adımları da aynı denetime tabi tutar.

Doğrulanabilir Veri Seti ve Deneysel Bulgular#

Araştırmacılar; kontrollü başlangıç durumları, yeniden oynatılabilir araç ortamları ve göreve özgü çalıştırılabilir kontroller içeren ortamda doğrulanabilir bir veri seti oluşturmuştur. Elde edilen sonuçlar:

• DART'ın Saldırı Başarısı: Dört farklı hedef modelde DART, semantik saldırı başarısını rakip baz çizgiye göre 18,8 ila 35,9 yüzde puan artırmış ve yürütülebilir doğrulama altında tutarlı kazanımlar elde etmiştir.
• SAGE'in Müdahale Gücü: Kaydedilen yörüngelerde SAGE, zararsız akışların %95,79'unu korurken, zararlı yolların %92,73'ünü zararın oluşma sınırında engellemiştir. Çevrimiçi saldırı-savunma değerlendirmesinde ise DART'ın yürütülebilir saldırı başarısını %48,0'dan %4,0'a düşürmüştür.
• Genellenebilirlik Kapasitesi: SAGE, test edilen dört farklı saldırı yöntemine karşı etkinliğini korumuş ve alan dışı (out-of-domain) ortamlara başarıyla genellenmiştir.

Yazılım Geliştiriciler İçin Pratik ve Eğitsel Çıkarımlar#

Prodüksiyonda araç kullanan çok adımlı ajanlar tasarlayan yazılımcılar için bu bulgular kritik mimari prensipler sağlar:

• Durum Körlüğünü Aşın: Ajanın yalnızca konuşma ve araç geçmişine bakarak güvenlik kararı verilemez. Eylemlerin değiştirdiği dosya, izin ve veritabanı durumları proaktif olarak doğrulanmalıdır.
• Yürütme Öncesi Salt Okunur Denetim: Kritik komutlar koşturulmadan önce, arka plandaki durumun zararsız olduğunu teyit eden hafif, salt okunur ara kontroller (pre-execution inspection) kurgulanmalıdır.
• Parçalı Saldırılara Karşı Koruma: Saldırganların zararlı niyetleri masum görünen alt görevlere bölebileceği unutulmamalı; kümülatif yan etkileri izleyen bütünleşik durum koruma mekanizmaları benimsenmelidir.

---

Bu konuyu derinlemesine öğrenmek isterseniz: Production'da Agent Güvenilirliği modülüne göz atın.