Aynı Şekilde Eğitilen Dil Modelleri Farklı Jailbreak Saldırılarında Kırılıyor

Problemin Tanımı ve Mevcut Varsayımlar#

Güncel jailbreak kıyaslama testleri (benchmark'lar), genellikle tek bir model kontrol noktasını (checkpoint) test eder ve hangi saldırıların modeli kırdığını doğrudan modelin ön eğitim verisine (pretraining data) ve güvenlik eğitimine (safety training) ait sabit bir özellik olarak kabul eder. Ancak yazılım ve yapay zeka mühendisliği açısından kritik bir soru ortaya çıkmaktadır: Aynı veri setiyle gerçekleştirilen farklı bir ön eğitim süreci, birebir aynı güvenlik eğitiminden geçirildiğinde yine aynı jailbreak saldırılarında mı başarısız olur?

Deneysel Kurgu ve Metodoloji#

Araştırmacılar bu soruyu yanıtlamak için kapsamlı ve sistematik bir deney düzeneği kurmuştur:

• 25 farklı ön eğitim veri reçetesi (data recipe) seçilmiştir.
• Her bir veri reçetesi için 3 farklı ön eğitim rastgelelik çekirdeği (pretraining seed) kullanılarak 1 milyar (1B) parametreli temel modeller üretilmiştir.
• Elde edilen her temel modele, 2 farklı eğitim sonrası çekirdeği (post-training seed) ile aynı güvenlik eğitimi uygulanarak toplamda 150 model oluşturulmuştur.
• Ortak bir jailbreak istem (prompt) setine karşı her modelden 20 yanıt toplanmış ve her model çifti arasındaki istem başına reddetmeme oranları (per-prompt non-refusal rates) arasındaki korelasyon hesaplanmıştır.

Temel Bulgular ve Korelasyon Analizi#

Elde edilen istatistiksel sonuçlar, güvenlik açıklarının kaynağına dair ezber bozan veriler sunmaktadır:

• Aynı Ön Eğitim, Farklı Güvenlik Çekirdeği: Aynı ön eğitim sürecinden çıkan ancak iki farklı güvenlik eğitimi kopyası olan modellerin istem başına reddetmeme oranları ortalama 0.984 gibi çok yüksek bir korelasyon göstermektedir.
• Farklı Ön Eğitim Çekirdeği: Ön eğitim çekirdeği (seed) değiştirildiğinde bu korelasyon 0.811 seviyesine düşmektedir.
• Farklı Veri Reçetesi: Veri reçetesinin tamamen değiştirilmesi korelasyonu yalnızca çok az daha düşürerek 0.779 seviyesine indirmektedir.
• Ölçeklenebilirlik: Bir kontrol noktasını hangi jailbreak saldırılarının kıracağının, kullanılan veriden ziyade ön eğitim sürecinin kendisine (pretraining run) bağlı olduğunu gösteren bu örüntü; tüm 25 veri reçetesinde, ayrıca 150M ve 300M parametre ölçeklerinde de geçerliliğini korumuştur.

Pratik Çıkarımlar ve Yazılım Geliştirme Açısından Önemi#

Yapay zeka sistemleri geliştiren ve güvenlik testleri (red-teaming) yürüten mühendisler için bu bulgular doğrudan pratik sonuçlar doğurmaktadır:

• Saldırı Şablonlarının Transfer Edilebilirliği: Bir model kontrol noktasında en iyi sonucu veren 91 saldırı şablonundan (attack templates) en başarılı olanı, yeni bir güvenlik eğitimi çekirdeği sonrasında model çiftlerinin %67'sinde en iyi olmaya devam ederken, yeni bir ön eğitim çekirdeği sonrasında yalnızca %27'sinde en iyi saldırı olarak kalabilmektedir. Bu durum, PromptFoo ile Regresyon Testi veya AI Test Stratejileri kurgularken tek bir kontrol noktasına güvenmenin yanıltıcı olacağını gösterir.
• Model Parmak İzi (Fingerprinting) ve Tedarik Zinciri: Her ön eğitim süreci kendine özgü bir parmak izi bırakmaktadır. 3.211 istem üzerinden bir modelin istem başına reddetmeme oranları, 75 ön eğitim süreci arasından kendi sürecini her seferinde (%100) doğru tespit edebilmektedir. Hatta rastgele seçilen 50 istemlik küçük bir alt küme bile bu tespiti %98 doğrulukla yapabilmektedir. Bu özellik, AI Tedarik Zinciri Güvenliği ve Inference Saldırıları bağlamında model kökenini doğrulamak veya tespit etmek için güçlü bir araç olarak değerlendirilebilir.