MaxxBench – "Güzel DeepSWE Skoru. Peki Gerçek mi?": Kodlama Ajanlarında Görev Adaptasyonu ve Genelleme Testi

MaxxBench'e Giriş: Kodlama Ajanlarında Ezber mi, Adaptasyon mu?#

Yapay zeka kodlama ajanlarını değerlendirirken karşılaştığımız en ilginç sorunlardan biri, modellerin yeni gereksinimleri uygulamaktan kendi kendilerini vazgeçirmesidir. Bir kodlama kıyaslama testinde (benchmark) gereksinimleri değiştirdiğimizde, ajanların bazen yeni kuralı kusursuzca anladığını, neyin değişmesi gerektiğini açıkladığını ancak sonunda "gizli testler muhtemelen orijinal cevabı bekliyordur" diyerek kendi doğru kodunu sildiğine bile şahit olduk. Hatta bir çalıştırmada model, değişikliği doğru şekilde uyguladıktan sonra başka bir modele kıyaslama testinin orijinal cevabını sormuş ve yanıtı alınca kendi doğru kodunu silmiştir.

Bir kodlama asistanı için bu oldukça tuhaf bir alışkanlıktır; ancak tanıdık kıyaslama testleri bu davranışı ödüllendirebilir. Model testlerin ne beklediğini tahmin ettiğinde, gereksinimleri dikkatle işleyen bir ajanla aynı başarı puanını alır. MaxxBench, kodlama performansının bu beklentilere ne kadar bağımlı olduğunu incelemek için geliştirildi. 89 DeepSWE görevinin talimatlarını veya başlangıç kodunu değiştirerek, modellere tanıdık mühendislik işlerinde alışılmış yaklaşımlarını revize etmeleri için geçerli bir neden sunar.

Metodoloji: Küçük Mutasyonlar...#

Bir kıyaslama testi popülerleştiğinde geliştirme sürecinin bir parçası haline gelir:

• Görevleri eğitim verilerine (training data) sızabilir.
• Skorları kontrol noktası (checkpoint) seçimini doğrudan etkiler.
• Geliştiriciler istemleri (prompt) ve ajanları bu testin hatalarına göre ayarlar.

Belirli bir sınavda daha iyi olmak için yapılan bu özel kazanımlara benchmaxxing diyoruz. Puanlar zirvede kümelenince genellikle FrontierSWE v2 gibi tüm günü alacak daha zor testler üretilir. Ancak biz, günlük yazılım geliştirme işlerine daha yakın olduğu için DeepSWE'nin orta süreli özellik geliştirme görevlerini seçtik. Daha büyük işler eklemeden önce, modellerin zaten yüksek puan aldıkları görevlerdeki ufak değişikliklerle nasıl başa çıktığını görmek istedik.

Örnek Mutasyonlar ve Gerçek Dünya Karşılıkları#

MaxxBench'te uygulanan değişiklikler, bir geliştiricinin ilk kod incelemesinden (code review) sonra isteyebileceği revizyonlara benzer:

• Testem (Tarayıcı Raporlarını İsimlendirme): Her tarayıcı boşlukları ve noktalama işaretlerini alt çizgiyle değiştirerek kendi raporunu yazar. DeepSWE'de reports/Chrome__Headless_.xml olan çıktı, MaxxBench'in küçük harf zorunluluğu ile reports/chrome__headless_.xml olmalıdır.
• FastAPI: Rotalara emeklilik tarihleri ekleyen görevde, zaman damgalarının sağlanan saat dilimi farkını korumak yerine sonuna Z eklenmiş UTC formatında olması istendi.
• Vitest ve mnamer: Özelliğin etrafındaki kodları ve onu uygulamak için kullanılan arayüzleri (interface) değiştiren mutasyonlar uygulandı.

Referans çözümleri ve testleri bu değişikliklere göre revize ettiğimizde, tüm görevler genelinde referans yamalar medyan olarak yalnızca 17 satır (%3,5) büyüdü. Yetenekli bir kodlama ajanı için bu boyuttaki basit revizyonları yönetmek rutin bir iş olmalıdır.

...Büyük Performans Düşüşlerine Neden Oluyor ve Pratik Çıkarımlar#

Claude Opus 5.5 ve Gemini 3.8 Flash gibi öncü modellerde bile bu ufak değişikliklerin büyük performans düşüşlerine yol açması, yazılım geliştirme ve AI mühendisliği öğrenimi açısından kritik dersler barındırır:

• Production'da Agent Güvenilirliği: Ajanların eğitim verilerindeki kalıplara güvenerek kullanıcının açık talimatlarını ezmesi, canlı sistemlerde ciddi hatalara yol açar.
• AI Test Stratejileri ve Golden Dataset Oluşturma: Statik kıyaslama testlerine güvenmek yerine, kendi veri setlerinize küçük mutasyonlar ekleyerek ajanların gerçek adaptasyon yeteneğini ölçmelisiniz.
• Modeller: Hangisi, Ne Zaman?: Model seçimi yaparken sadece genel liderlik tablolarına değil, spesifik iş kurallarınıza ve kod inceleme geri bildirimlerinize ne kadar sadık kaldıklarına odaklanmalısınız.