OWASP Top 10 LLM Güvenliği için Uygulamalı Zaafiyet Laboratuvarı: LLM-OWASP-LAB

Reponun Amacı ve Geliştiriciler İçin Değeri

LLM-OWASP-LAB, büyük dil modelleri (LLM) ile inşa edilen yapay zekâ uygulamalarındaki kritik güvenlik açıklarını pratik yaparak öğrenmek için geliştirilmiş açık kaynaklı bir eğitim platformudur. Proje, dünya genelinde siber güvenlik standardı olarak kabul edilen OWASP Top 10 for Large Language Model Applications çerçevesini temel alır. Kasıtlı olarak zafiyetli tasarlanmış yapay zekâ uygulamaları ve uygulamalı laboratuvar ortamları sunarak teorik güvenlik ilkelerini pratik tecrübeye dönüştürür.

Geleneksel yazılım güvenliğinde girdi doğrulaması ve parametreli yapılar belirgin sınırlar sunarken, üretken yapay zekâ sistemlerinde veri ile talimatın (prompt) aynı kanaldan iletilmesi yepyeni güvenlik riskleri doğurur. Geliştiricilerin sıklıkla karşılaştığı Prompt Injection, Insecure Output Handling (güvensiz çıktı işleme), veri zehirleme ve hassas bilgi sızıntıları gibi açıklar, kurumsal sistemlerin ele geçirilmesine yol açabilir. Bu repo; geliştiricilere, güvenlik araştırmacılarına ve yapay zekâ mühendislerine söz konusu tehditleri izole ve güvenli bir ortamda bizzat simüle etme imkânı tanır. Geliştiriciler, saldırgan bakış açısını deneyimleyerek sistemlerini üretim ortamına taşımadan önce çok katmanlı savunma stratejileri geliştirebilir.

Pratik Kullanım Senaryoları ve Deneyimler

Laboratuvar ortamı, geliştiricilerin adım adım test edebileceği kapsamlı senaryolar içerir:

Doğrudan ve Dolaylı Prompt Injection: Sistem talimatlarını (system prompt) geçersiz kılma, modelin kurallarını atlatma (jailbreak) ve harici kaynaklardan gelen veriler üzerinden modeli yanıltma denemeleri.
Güvensiz Çıktı Yönetimi (Insecure Output Handling): Model çıktılarının filtrelenmeden doğrudan web tarayıcısında veya arka uç sistemlerinde çalıştırılması sonucu oluşan XSS ve komut enjeksiyonu zafiyetlerini inceleme.
Hassas Veri İfşası (Sensitive Information Disclosure): Modelin sistem promptunda veya bağlam penceresinde (context window) tutulan gizli API anahtarlarını, sistem promptlarını ya da kişisel verileri sosyal mühendislik tarzı promptlarla sızdırma alıştırmaları.
Aşırı Yetkilendirme (Excessive Agency): Harici araçları ve eklentileri (tool calling/function calling) tetikleme yetkisine sahip otonom ajanların manipüle edilerek izinsiz işlemler gerçekleştirmesini sağlama senaryoları.

Benzer Araçlarla Karşılaştırma

Geleneksel web güvenliği eğitimi için kullanılan DVWA (Damn Vulnerable Web Application) veya OWASP Juice Shop, klasik SQL Injection ve CSRF gibi zafiyetlere odaklanır; ancak dil modellerinin semantik risklerini kapsayamaz. LLM-OWASP-LAB ise doğrudan LLM mimarilerine özgü saldırı yüzeyini adresler.

Diğer taraftan Promptfoo, Garak ve PyRIT gibi açık kaynaklı çözümler, CI/CD hatlarında otomatik güvenlik testleri ve kırmızı takım (red teaming) otomasyonu için tasarlanmıştır. Lakera'nın geliştirdiği Gandalf gibi popüler çevrim içi oyunlar yalnızca prompt injection bulmacalarına odaklanırken kapalı devre çalışır. LLM-OWASP-LAB ise kaynak kodlarına tam erişim sağlayarak hem saldırı hem de güvenli kodlama (remediation) süreçlerini uçtan uca inceleme olanağı sunan kapsamlı bir laboratuvardır.

Orijinal kaynağa buradan ulaşabilirsiniz.

Bu konuyu derinlemesine öğrenmek isterseniz: Inference Saldırıları modülüne göz atın.