GVS5H Altyapısı ile Beş Qwen3.8-27B Modeli Claude Fable 5 Performansını Yakalıyor

GVS5H: LiveCodeBench Zorlu Testlerinde Beş Qwen3.8-27B Modeli ile Fable 5 Seviyesinde Kodlama#

Öncü (frontier) düzeyde kodlama performansı elde etmek, genellikle yüksek maliyetli ve devasa kapalı kaynaklı modelleri kullanmayı gerektirir. Ancak GVS5H (Gorilla vs. 5 Humans) projesi, eğitim gerektirmeyen (training-free) yeni bir yaklaşımla bu denklemi değiştiriyor: kayıt defteri tabanlı sıfır-atışlı öz-orkestrasyon (ledger-based zero-shot self-orchestration).

Bu yöntemde, aynı modelin yeni örnekleri (instances) karmaşık problemleri alt parçalara ayırır ve bir planı, notları ve mevcut çözümü barındıran paylaşımlı bir dosya sistemi üzerinden koordine olur.

Sonuçlar ve Mimari Kazanımlar#

En güncel 100 zorlu LiveCodeBench problemi üzerinde, açık ve kapalı ağırlıklı 11 modelle yapılan testler, yazılım mühendisliği ve yapay zeka orkestrasyonu açısından çarpıcı sonuçlar sunuyor:

Maliyet ve Performans Dengesi: Orkestre edilmiş Qwen3.8 Flash Next, Fable 5 modelinin %90.4'lük pass@1 başarısına karşılık %93.0 skora ulaşırken, bunu maliyetin yalnızca %9'u ile gerçekleştirir.
Yerel ve Açık Ağırlıklı Modellerin Gücü: Tek bir GPU üzerinde veya yerel olarak çalıştırılabilen açık ağırlıklı Qwen3.8-27B modelinin başarısı, bu altyapı sayesinde %66.8'den %92.4'e yükselerek Fable 5 seviyesini geride bırakır (Opus 5 ise daha eski bir iskelet sürümünde OpenRouter üzerinden tek geçişte çalıştırılmıştır).
Kazanımların Kaynağı: Sabitlenmiş (pinned) arka uçlarda 25.6 yüzde puana varan artışlar görülse de bu kazanımlar her model için evrensel değildir; bazı modellerde performans değişmemiş veya düşmüştür. Transkript analizleri, başarının temelinde problemi alt parçalara ayırma (decomposition) ve kalıcı bağlam (persistent context) yönetiminin yattığını göstermektedir.

Pratik Çıkarım: Geliştiriciler için en önemli ders, her zaman daha büyük bir modele bütçe ayırmak yerine çıkarım zamanlı organizasyona (inference-time organization) yatırım yapmaktır. Ajanların ortak bir dosya sisteminde durum (state) ve plan tutması, bağlam penceresi kirlenmesini önleyerek küçük modellerden devasa sonuçlar almayı sağlar.

Kodu Çalıştırma (Running the Code)#

Bu çok-ajanlı sistemi test etmek için sisteminizde uv paket yöneticisi ve test etmek istediğiniz modelin API anahtarı bulunmalıdır:

cd codebase/v2-current
export OPENAI_API_KEY=...

LCB_RELEASE=release_v6 \
ESCALATION_CLOUD_MAX_TOKENS=128000 \
ESCALATION_CLOUD_TIMEOUT=7200 \
MULTIAGENT_MODEL=openai:gpt-5.6-terra \
uv run --no-project --python 3.12 \
  --with 'datasets<4' --with numpy --with anthropic \
  python escalation/run_bench.py \
  --engine multiagent --only lcb --lcb 100 --parallel 8

--engine multiagent parametresi yönetici orkestrasyonunu çalıştırırken, --engine single tek çağrılı temel (baseline) testi çalıştırır.
Kendi *_API_KEY değişkenlerini tanımlayarak anthropic:<model>, dashscope:<model> veya openrouter:<model> seçeneklerini kullanabilirsiniz.
Test sonunda pass@1 skoru ekrana yazdırılır; detaylı sonuçlar runs/results.json dosyasına, çalışma alanları ise runs/ws/ dizinine kaydedilir.

Lisans (License)#

Proje kodu MIT Lisansı altındadır.
Makale, şekiller ve çalıştırma verileri CC BY 4.0 lisansı ile sunulmaktadır.
LiveCodeBench çatalı (fork), kıyaslama problem ifadeleri ve LaTeX şablon dosyaları kendi orijinal lisanslarını korur (detaylar için NOTICE.md dosyasına bakılabilir).

Bu konuyu derinlemesine öğrenmek isterseniz: Tool Calling ve Multi-Step Agent'lar modülüne göz atın.