Memdoor: 5 Qwen3.8-27B Modelinden Oluşan Ekip, LiveCodeBench Hard Testinde Fable 5'i Geride Bıraktı

team-solve: Çok Ajanlı Programlama İş Akışı#

team-solve, programlama problemlerini çözmek üzere bir Memdoor iş akışı olarak tasarlanmış çok ajanlı (multi-agent) bir çalışma çatısıdır. Sistemde beş ana rol (planlayıcı, iki fikir üretici, çözücü, yönetici) ve bir onarım işçisi (repair worker) bulunur.

Bu mimarinin yazılım mühendisliği açısından en dikkat çekici pratik çıkarımları şunlardır:

• İzole Bağlam ve Dosya Tabanlı İletişim: Her ajan tamamen temiz bir bağlamla (fresh context) başlar ve yalnızca disk üzerindeki dosyalar aracılığıyla iletişim kurar. Bu yaklaşım, uzun konuşma geçmişlerinde yaşanan bağlam kirlenmesini önler.
• Deterministik Doğrulama: Başarıya bir dil modeli değil, örnek testleri çalıştıran bir kabuk betiği (check-samples.sh) karar verir. Üretim ortamındaki ajan sistemlerinde LLM-as-a-Judge yerine deterministik test koşucuları kullanmak güvenilirliği doğrudan artırır.
• Otonom Kod Üretimi: GVS5H (Lee, 2026) yöntemini temel alan bu iş akışı dosyaları insan eliyle yazılmamış, yöntemin açıklamasından yola çıkılarak kodlayıcı tarafından (2026-10-25) otomatik üretilmiştir.

Yazarların İlk On Problemi Üzerinde Beş Geçiş (2026-10-31)#

GVS5H yönteminin kendi çatısı, Qwen3.8-27B modeli, 128K yanıt sınırı ve yazarların birebir aynı istemleriyle (prompts) Memdoor iş akışı olarak yeniden inşa edilmiştir. LiveCodeBench Hard listesindeki ilk 10 problem üzerinde 5 geçiş (toplam 50 çalıştırma) yapılmış ve her program hem açık hem de gizli testlerle değerlendirilmiştir:

• 1. Geçiş: Memdoor iş akışı 10 / 10, Yazarların 27B çatısı 9, Tek başına Fable 5 7
• 2. Geçiş: Memdoor iş akışı 10 / 10, Yazarların 27B çatısı 10, Tek başına Fable 5 8
• 3. Geçiş: Memdoor iş akışı 10 / 10, Yazarların 27B çatısı 10, Tek başına Fable 5 10
• 4. Geçiş: Memdoor iş akışı 10 / 10, Yazarların 27B çatısı 9, Tek başına Fable 5 8
• 5. Geçiş: Memdoor iş akışı 9 / 10, Yazarların 27B çatısı 10, Tek başına Fable 5 7
• Ortalama Skor: Memdoor 9.8, Yazarların 27B çatısı 9.6, Tek başına Fable 5 8.0

Maliyet, Performans ve Değerlendirme Notları#

• Maliyet ve Çözüm Oranı: bench/results/parity-5pass/ dizininde tüm istekler, yanıtlar ve maliyetler kayıtlıdır. 50 denemenin 49'u çözülmüştür. 50 çalıştırma 35.79$ (15.3M çıktı tokenı) tutmuş; süre sınırı veya düzeltme nedeniyle durdurulan 16 deneme dahil edildiğinde toplam maliyet 38.77$ olmuştur.
• Çalışma Süresi ve Altyapı: Bir çalıştırma medyan olarak 40 dakika model süresi (en uzunu 4 saat) ve 0.39$ maliyet gerektirmiştir. Tüm testler yerel makine yerine OpenRouter üzerinde koşturulmuştur.
• Veri Sızıntısı ve Test Sınırları: Yarışmalar 29 Mart - 6 Nisan 2025 tarihli olduğundan eğitim verisi kirlenmesi (contamination) ihtimali göz ardı edilemez. Döngü yalnızca açık örnekleri görürken, nihai puan gizli testlerden alınmıştır. Fable 5 sütunu ise problem başına tek bir çağrıyı temsil eder.

Yazarların Sistemiyle Birebir Aynı Yapı#

Geliştiriciler için en önemli derslerden biri tekrarlanabilirlik ve üretim parametrelerinin hassasiyetidir. lib/test_parity.py betiği, yazarların multiagent_solve sistemi ile Memdoor iş akışını kurgulanmış tek bir modele karşı çalıştırarak her isteği bayt düzeyinde karşılaştırır (dört senaryonun tamamı birebir aynıdır; tek karakterlik bir değişiklik bile çıktıyı farklılaştırır).

Rol bazlı kullanılan üretim parametreleri şunlardır:

• Sıcaklık (Temperature): Planlama için 0.3, fikir üretimi (ideation) için 0.4, yönetici ve işçi rollerinde ise daha kararlı çıktı için 0.2.
• Örnekleme Parametreleri: top_p 0.95 ve top_k 20 olarak sabitlenmiştir. Bu yapı, doğru orkestrasyon ve parametre optimizasyonuyla 27B parametreli açık ağırlıklı modellerin ekip halinde devasa modelleri geçebileceğini kanıtlamaktadır.