Kıyaslama Testlerinin Ötesinde: Küçük Açık Ağırlıklı Modeller Gerçek Kodlama İşlerini Tamamlayabilir mi?

Metin Üretmek ile Kodlama İşini Bitirmek Arasındaki Fark#

Açık ağırlıklı (open-weight) bir dil modelinin metin üretmesini sağlamak, onun gerçek bir yazılım geliştirme görevini baştan sona tamamlamasını sağlamakla aynı şey değildir. Temmuz ve Ekim 2026 arasındaki mühendislik çalışmalarına dayanan bu geriye dönük deneysel sistem raporu; kodlama istemcileri, modele özgü sunum (serving) tarifleri, vLLM, SGLang, llama.cpp ve MLX üzerindeki gerçek dünya deneyimlerini inceliyor.

Kağıt üzerinde uyumlu görünen bir uç noktanın (endpoint) arkasındaki modeller bile şu kritik noktalarda ciddi farklılıklar göstermiştir:

• Araç çağırma (tool-call) biçimlendirmesi ve protokol uyumu
• Tur kontrolü (turn control) ve bağlam (context) davranışı
• Önbellek (cache) yeniden kullanımı ve genel sistem güvenilirliği

Yazılım mühendisliği açısından en temel çıkarım şudur: Sunulan bir model, tutarlı bir metin üretimi, yürütülen araç çağrıları ve bağımsız davranışsal kontrollerden geçen çalışan kod, birbirinden tamamen farklı ilerleme seviyeleridir.

Deneysel Bulgular ve Delegasyon Çalışmaları#

Araştırmanın kanıtları 4.165 kodlama ajanı ağ geçidi (gateway) turuna, 623 hata ayıklama (debug) görevine ve sabit bir Claude Opus 5.5 üst modeli ile gizli davranışsal kontroller içeren üç ayrı görev devretme (delegation) çalışmasına dayanmaktadır:

• Önbellek ve Gecikme Etkisi: Kaydedilen soğuk önek (cold-prefix) isteklerinde ilk token'a kadar geçen medyan süre (TTFT) yaklaşık 69,4 saniye iken, yüksek yeniden kullanımlı (high-reuse) isteklerde bu süre gözlemsel olarak 2,8 saniyeye düşmüştür.
• Birinci Çalışma (45 Deneme): Doğrudan kodlama (direct coding) 15/15 başarı sağlarken, nicemlenmiş (quantized) Qwen3-Coder 30B-A3B alt çalışanına (worker) devredilen görevler 12/15 ve 14/15 oranında başarılı olmuştur.
• İkinci Çalışma (Sabit Çıktı Sözleşmesi Altında 15 Görevlik Paket): Tamamlanan ikame grubunda doğrudan kodlama 45/45 başarı elde ederken, Nemotron Cascade 2 çalışanı 12/45 (11 çalışan ikamesi ile) başarı göstermiştir. Herhangi bir model çağrısından önce abonelik sınırına takılıp duran 16 oturum yenileriyle değiştirilmiştir; bunlar başarısızlık olarak sayıldığında oranlar 37/45 ve 8/45 olmaktadır. Qwen3-Coder çalışanı ise bu katı sözleşme altında 0/45 çekmiştir.
• Maliyet ve Sözleşme Hassasiyeti: Doğrudan kodlama kolu bulunan her iki çalışmada da, doğrulanmış başarı başına düşen API liste fiyatı eşdeğeri sınır (frontier) maliyeti, doğrudan kodlamada daha düşük çıkmıştır. Ayrıca, çalışma sonrası yapılan bir teşhis (post-hoc diagnostic), yalnızca yeniden adlandırılan parametreler yüzünden reddedilen 36 çıktıdan (artifact) 19'unun gizli testleri olduğu gibi geçtiğini ortaya koymuştur (bunlar başarı olarak sayılmamıştır).

Geliştiriciler İçin Pratik Çıkarımlar ve Platform Bağlantısı#

Bu çalışma, modelleri veya çalışma zamanlarını (runtime) sıralamak yerine; model sunumu, ajan protokolü, oturum sürekliliği, çıktı doğrulama ve pratikte doğrulama süreçlerinin kanıta dayalı bir dökümünü sunar.

Yazılım geliştirme ve öğrenme perspektifinden bakıldığında; büyük bir modeli doğrudan kullanmak, küçük modellere iş devretmeye kıyasla doğrulanan görev başına daha ucuz ve güvenilir olabilmektedir. Küçük açık ağırlıklı modeller kod mantığını doğru kursa bile, katı şema ve parametre adlandırma kurallarında (artifact contract) sıkça hata yapmaktadır. Bu durum, Edumints üzerindeki Production'da Agent Güvenilirliği, Tool Calling ve Multi-Step Agent'lar ve Modeller: Hangisi, Ne Zaman? modüllerinde vurgulanan uçtan uca doğrulama ve doğru model seçimi prensipleriyle doğrudan örtüşmektedir.