SlopCodeBench 10/2026 Güncellemesi – Opus 5.5, Astra Genel Lider ve "XHigh" Efor Seviyesinin Zararları

Dex Horthy tarafından Gabe Orlanski'nin katkılarıyla 15 Ekim 2026 tarihinde yayımlanan bu rapor, 2026'nın dördüncü çeyreğindeki "slop" (düşük kaliteli/bozuk kod üretimi) durumunu inceleyen serinin ilk bölümüdür. İkinci bölümde Gabe ve SlopCodeBench (SCB) ekibi, kod bozulma kalıplarına dair niteliksel ve derinlemesine analizlerini paylaşacaktır. Daha önceki incelemelerde olduğu gibi bu çalışmada da odak noktası, modellerin aşamalı kontrol noktalarında (checkpoint) mevcut yapıyı bozmadan ilerleyebilme becerisidir.

Genel Bakış#

Mayıs ayında yayımlanan son SlopCodeBench sonuçlarında gpt-5.5, %14,8'lik bir katı başarı oranı (strict pass rate) elde etmişti. Bu ay öncü modeller aynı kapsamlı test kampanyalarından geçirildi ve en yüksek skoru %16,3 ile gpt-6 astra aldı.

Benchmark farklı başarı oranları raporlasa da asıl odaklanılan metrik katı başarı oranıdır (strict pass rate). Bu metrik, modelin tüm regresyon testlerini geçmeye devam ederken kaç kontrol noktasında her bir test senaryosunu eksiksiz tamamladığını ölçer. Test edilen öncü modeller %12,2 ile %16,3 arasında katı başarı oranları elde etmiştir:

• Opus 5.5
• Fable 5.1
• SOL 6 ve 6.1
• Astra
• GLM 5.3

Karşılaştırma yapmak gerekirse, daha esnek bir ölçüt olan "çekirdek başarı oranı" (core pass rate) bu modeller için %65,8 ile %74,0 aralığında yer almaktadır.

Buradaki en dikkat çekici yazılım mühendisliği çıkarımlarından biri, orta (medium) akıl yürütme eforunun bazı yeni modellerde aşırı yüksek (XHigh) efordan daha iyi performans göstermesidir. Tamamlanan üç model çiftinde XHigh, Medium seviyesine göre 2,11 ile 4,22 kat daha maliyetlidir. En çarpıcı sonuç ise Opus 5.5 modelinin orta efor seviyesinde, XHigh seviyesine kıyasla daha başarılı olmasıdır. Geliştiriciler için pratik çıkarım açıktır: "Modeller: Hangisi, Ne Zaman?" ve "Üretim Parametreleri" kararlarında en yüksek düşünme bütçesini seçmek, kod tabanında aşırı mühendisliğe (over-engineering) ve regresyon hatalarına yol açarak hem maliyeti artırmakta hem de başarıyı düşürmektedir.

Önceki aylarda yalnızca 3 veya 6 problemlik alt kümelerle yapılan testler yerine, bu kez ayar başına 36 problem ve 196 kontrol noktası içeren tam benchmark çalıştırılmıştır. Dolayısıyla daha önce 6 problem üzerinden elde edilen %30'luk Fable 5 skoru ilginç olsa da tam veri setiyle doğrudan karşılaştırılabilir değildir; tam test seti artık resmi araştırma bulgularıyla doğrudan kıyaslama imkanı sunmaktadır.

SlopCodeBench Kısa Arka Planı ve Pratik Çıkarımlar#

SlopCodeBench, bir kodlama ajanına problemi aşamalar halinde verir. Ajan önce bir program yazar, ardından yeni gereksinimler alır ve mevcut kodu değiştirir. İlerleyen kontrol noktaları hem yeni davranışı hem de eski davranışı test eder. Bu yapı, yazılımın gerçek dünyada belirsiz ve zamanla evrilen gereksinimlerle nasıl inşa edildiğini birebir yansıtır. Yazılım öğrenenler ve mühendisler için buradaki en kritik ders, ilk çalışan kodu yazmanın (%65-%74 çekirdek başarı) kolay, ancak önceki özellikleri bozmadan iteratif geliştirme yapmanın (%12-%16 katı başarı) hala en büyük darboğaz olduğudur.

Bulguları yeniden üretmek isteyen geliştiriciler için testlerde sabitlenmiş v1.0 kataloğu, standart just-solve istemi, seed 42, any-case runner geçiş politikası ve Python 3.12 ile uv içeren Docker ortamı kullanılmıştır.