Hanshuang Codex: Büyük Dil Modellerinde Jailbreak ve Prompt Injection Deneyleri

Hanshuang Codex Nedir ve Ne İşe Yarar?

Hanshuang Codex (aimeoa/hanshuang-codex), özellikle GPT 5.6 ve V4flash gibi yeni nesil büyük dil modellerini (LLM) hedef alan kapsamlı bir güvenlik ve kalkan kırma (jailbreak / armor-piercing) araştırma projesidir. Python diliyle geliştirilen bu araç; LLM arayüzleri, Codex CLI yapıları ve masaüstü uygulamaları üzerinde prompt injection (istem enjeksiyonu) ile güvenlik filtresi atlatma testleri gerçekleştirmek üzere tasarlanmıştır.

Yapay zekâ modellerinin kurumsal iş akışlarına ve otonom sistemlere hızla entegre edildiği günümüzde, model kısıtlamalarının ve güvenlik duvarlarının sınırlarını test etmek hayati bir önem taşır. Proje, dil modellerinin karar mekanizmalarını zorlayan sınır durumları analiz ederek güvenlik açıklarını ortaya çıkarır. Bu sayede geliştiriciler, üretim ortamındaki LLM uygulamalarının kötü niyetli istemlere karşı ne derece dirençli olduğunu laboratuvar ortamında önceden doğrulayabilir.

Geliştiriciler İçin Değeri ve Popülaritesi

Hanshuang Codex, red-teaming (kırmızı takım) araştırmacıları ve yapay zekâ mühendisleri için pratik bir güvenlik değerlendirme ortamı sağlar:

Güvenlik Açığı Tespiti: Sistem istemlerinin (system prompt) manipüle edilmesini, bağlam sızıntılarını ve modelin yerleşik güvenlik kurallarının aşılmasını sistematik biçimde inceler.
Hizalama (Alignment) Değerlendirmesi: Modelin güvenlik yönergelerine ve belirlenen etik kısıtlamalara karmaşık saldırı senaryoları altında ne ölçüde sadık kaldığını ölçer.
Pratik Deney Ortamı: Masaüstü uygulaması ve komut satırı odaklı yapısıyla araştırmacıların farklı saldırı vektörlerini hızla denemesine imkân tanır.
Savunma Mekanizmaları Geliştirme: Modellerin hangi tür semantik veya yapısal istem dizilimlerine karşı savunmasız olduğunu göstererek daha güçlü filtreleme katmanları tasarlanmasına yardımcı olur.

Pratik Kullanım Senaryoları

Araç, LLM güvenlik denetimlerinde temel olarak şu yöntemlerle değerlendirilebilir:

Jailbreak Testleri: Modele doğrudan kısıtlanmış talimatlar vermek yerine; çok katmanlı rol yapma, varsayımsal senaryolar ve mantıksal çelişkiler içeren özel saldırı girdileri iletilerek filtre tepkileri ölçülür.
Sistem İstemlerini Atlama: Modelin temel davranış kurallarını geçersiz kılmayı amaçlayan enjeksiyon kalıpları denenerek veri ve bağlam güvenliği test edilir.
Girdi Temizleme ve Savunma Doğrulama: Gerçekleştirilen testlerden elde edilen bulgular, model öncesi çalışan güvenlik duvarlarının (guardrails) ve girdi sanitasyon kurallarının optimize edilmesinde kullanılır.

Benzer Araçlarla Karşılaştırma

Yapay zekâ güvenliği ekosisteminde Promptfoo, Garak ve PyRIT gibi kurumsal düzeyde kabul görmüş popüler değerlendirme çatıları bulunmaktadır:

Kapsam ve Otomasyon: Promptfoo ve PyRIT, geniş çaplı CI/CD entegrasyonlarına, regresyon testlerine ve çok modelli kıyaslamalara odaklanırken; Hanshuang Codex, özellikle güncel GPT türevleri ve V4flash üzerindeki hedefli kalkan kırma deneylerine yoğunlaşır.
Hafiflik ve Esneklik: Büyük test paketlerinin getirdiği karmaşık yapılandırmalar yerine, Python tabanlı hafif mimarisi ve masaüstü deneyimi sayesinde bağımsız araştırmacıların hızlı ve odaklı testler yürütmesini kolaylaştırır.

Orijinal kaynağa buradan ulaşabilirsiniz.

Bu konuyu derinlemesine öğrenmek isterseniz: Inference Saldırıları modülüne göz atın.