CWE-bench v2: Daha Fazla Kapsam, Kalite ve Şeffaflık

Sınır ötesi siber güvenlik yeteneklerini test etmek amacıyla tasarlanan CWE-bench, Collinear AI ekibinin ufku genişletme çabaları doğrultusunda CWE-bench v2 sürümüyle herkesin kendi modellerini çalıştırıp değerlendirebileceği 100 görevlik halka açık bir veri seti sunuyor.

Kurulum önceki sürümle aynı mimariyi koruyor: Bir yapay zeka ajanı, gerçek bir açık kaynak deposunun (repository) kopyasını ve kısa bir talimatı alarak mevcut işlevselliği bozmadan güvenlik zafiyetini bulup düzeltmeye çalışıyor. Puanlama tamamen programatik olduğu için sonuçlar deterministiktir ve herkes ek maliyet olmadan aynı sonuçları yeniden üretebilir. Tüm programatik kontroller, zorluk ve adalet dengesini şekillendiren LLM hakem panelleri (LLM judge panels) yardımıyla derlenmiştir. Ayrıca hiçbir modelin daha önce görmediği görevlerdeki ilerlemeyi takip etmek için kapalı bir veri seti (held-out set) tutulmaya devam edilmektedir ([email protected]).

Savunmacı bir sistemin, saldırganın sızabileceği tüm yolları öngörmesi ve her seferinde doğru hamleyi yapması gerekir. Bu 100 görev, geniş bir zafiyet sınıfına yayılan 91 farklı CWE (Common Weakness Enumeration) türünü kapsar. Burada başarılı olan bir modelin yalnızca tanıdık kod örüntülerini tanıması yetmez; potansiyel bir saldırganın istismar edebileceği çoklu zafiyet yüzeylerini derinlemesine anlaması gerekir.

Kaliteyi artırma çabalarının bir parçası olarak, her görev için şu 6 temel kriterin doğruluğu titizlikle kontrol edilmiş ve görevler elle incelenmiştir:

• Talimat, yapay bir değerlendirme ortamı gibi değil de gerçekçi bir geliştirici talimatı gibi okunuyor mu?
• Puanlanan her davranış doğrudan verilen talimattan çıkarılabiliyor mu?
• Doğrulayıcı (verifier), belirli bir çözüm yapısını değil de doğru davranışı kontrol ediyor mu?
• Başlangıç kodu testten kalırken referans düzeltme (fix) testten geçiyor mu?
• Yeni düzeltme uygulandığında mevcut orijinal işlevsellik sorunsuz çalışmaya devam ediyor mu?
• Doğrulayıcılar, bilinen upstream yaması gibi ezberlenmiş çözümleri reddediyor mu?

Yazılım Geliştirme ve Öğrenme Açısından Pratik Çıkarımlar: CWE-bench v2'nin bu 6 maddelik doğrulama listesi, yazılım mühendisliğinde AI Test Stratejileri ve güvenli kod geliştirme süreçleri için altın standartta bir rehberdir. Kendi projelerinizde ajanları veya otomatik kod düzeltme araçlarını değerlendirirken yalnızca "yamayı uyguladı mı?" sorusuna değil; regresyon testleriyle mevcut işlevselliğin korunmasına ve davranış odaklı doğrulamaya odaklanmalısınız.

Sonuçlar#

Sonuçlar Hugging Face Hub üzerinde iki ayrı noktada takip edilmektedir. CWE-bench veri seti sayfasındaki liderlik tablosu açık ağırlıklı (open-weight) modelleri kapsar ve topluluk PR'ları ile güncellenir. Gemini, Claude ve GPT gibi yalnızca API ile erişilen modelleri de içeren tam karşılaştırma ise CWE-bench leaderboard Space üzerinde yer alır.

Değerlendirilen 11 model arasında Gemini 4 Argon, %67,8 pass@1 ve %81,0 pass@4 oranlarıyla ilk sırada yer alırken, onu çok yakın bir farkla Claude Opus 5.5 (%67,3 pass@1, %78,0 pass@4) takip ediyor. 100 görevden 95'inin en az bir model tarafından çözülebilmesi görevlerin çözülebilir olduğunu kanıtlasa da, lider modelin bile her denemede görevlerin %19'unda başarısız olması siber güvenlikte "uzun kuyruk" (long tail) probleminin henüz çözülmediğini gösteriyor.

Maliyet açısından DeepSeek V4.1 Flash (1017), Claude Opus 5.5 ve Gemini 4 Argon Pareto sınırını (fiyat/performans optimizasyonu) oluşturuyor: DeepSeek deneme başına 0,04 $ maliyetle %57,0 pass@1 başarısına ulaşırken, Opus 1,8 $ maliyetle buna on puan ekliyor. Mühendislik ekipleri için bu tablo, Modeller: Hangisi, Ne Zaman? sorusuna doğrudan yanıt veriyor: rutin güvenlik taramalarında düşük maliyetli açık modeller tercih edilirken, kritik zafiyet analizlerinde sınır modellere yatırım yapılmalıdır.