Opus 5'i SlopCodeBench Üzerinde Test Etmek: Yapay Zeka Kodlama Ajanlarından Pratik Çıkarımlar

Geleneksel yapay zeka benchmark'ları tüm gereksinimleri en başta sunarken, yazılım geliştirme gerçek hayatta aşamalı bir süreçtir. SlopCodeBench, modellerin zaman içinde değişen isterlere uyum sağlama ve kod kalitesini koruma yeteneğini test eden yeni bir değerlendirme standardıdır. Bu yazıda, Opus 5 ve diğer önde gelen modellerin bu zorlu benchmark üzerindeki performansını inceliyor ve yazılım geliştiriciler ile öğrenciler için pratik çıkarımları ele alıyoruz.

Daha İyi Benchmark'lara Ulaştık

UW Madison tarafından geliştirilen SlopCodeBench, modelleri tek bir büyük problemle değil, zamanla evrildiği çoklu kontrol noktalarıyla değerlendirir. GPT-5.4 (%11) ve Opus 4.6 (%17) gibi güçlü modellerin ilk testlerde düşük başarı oranları elde etmesi, benchmark'ın henüz doygunluğa ulaşmadığını ve gerçek hayat koşullarını çok daha iyi yansıttığını göstermektedir.

Opus 5'i SlopCodeBench Üzerinde Test Etmek

Opus 4.8, Sonnet 5 ve Opus 5 modelleri 17 farklı kontrol noktasında canlı olarak test edildi. Opus 5, %24 katı geçiş oranıyla rakiplerini geride bıraksa da, tüm modeller süreç boyunca yüksek kod karmaşıklığı ve kod kokuları (code smells) sergiledi.

Pratik Çıkarım: AI kodlama ajanları, insan denetimi ve mimari rehberlik olmadan uzun soluklu projeleri yönetmekte henüz yetersizdir.

Benchmark Alt Kümesi

Testler; kolay, orta ve zor zorluk derecelerinde üç farklı problem üzerinden yürütüldü:

Circuit Eval (Kolay): 8 kontrol noktası
Database Migration (Orta): 5 kontrol noktası
Dynamic Config Service API (Zor): 4 kontrol noktası

Her aşamada modeller sıfır bağlamla çalıştırıldı ve tüm geçmiş regresyon testlerini geçme zorunluluğu arandı. Hiçbir model problemleri tamamen hatasız bitiremedi.

Test Sürecinde Yaşananlar

Sonnet 5 başlangıçta yüksek maliyet çıkarırken, bakım ve geliştirme ilerledikçe en ekonomik modele dönüştü. Opus 5 ise ilk üç kontrol noktasında kusursuz bir başlangıç yapsa da ilerleyen aşamalarda regrese olarak hata üretmeye başladı. Bu durum, başlangıçta iyi tasarlanan sistemlerin bile sürekli refactoring yapılmazsa zamanla bozulacağını doğrulamaktadır.

Nihai Sonuçlar

Geliştirme sürecinin sonuna kadar hiç hata bırakmama kriteriyle bakıldığında tüm modeller başarısız olmuştur. Ancak Opus 5, 4/17 (%24) katı geçiş oranıyla diğer modellere göre biraz daha dayanıklı performans sergilemiştir. Harcanan ek bütçeler doğruluğu artırsa da otonom yazılım geliştirme için henüz erken olduğunu göstermektedir.

Kod Kalitesi ve "Slop" Ölçümü

SlopCodeBench; kod boyutu, döngüsel karmaşıklık, kod tekrarı ve bağımlılık grafikleri gibi 41 farklı kalite metriğini takip etmektedir. Test ilerledikçe kod kalitesindeki düşüş ve karmaşıklıktaki artış somut olarak ölçülmüştür.

Daha Fazla Doğruluk Çok Daha Fazla Kod Demektir

Opus 5, diğer modellere göre üç kat daha fazla (yaklaşık 29.000 satır) kod yazmıştır. Bu kodun %51'ini testler oluştursa da, yazılan aşırı kod miktarı belirgin bir kalite farkı yaratmamıştır.

Öğrenenler İçin Ders: Daha fazla kod yazmak daha iyi yazılım anlamına gelmez. AI araçlarını kullanırken yalın kod (KISS) prensibinden taviz verilmemelidir.

Orijinal makaleye buradan ulaşabilirsiniz.