---
title: "Memdoor: 5 Qwen3.8-27B Modelinden Oluşan Ekip, LiveCodeBench Hard Testinde Fable 5'i Geride Bıraktı"
url: https://blog.edumints.com/memdoor-5-qwen3-8-27b-modelinden-olusan-ekip-livecodebench-hard
category: "LLM"
date: 2026-11-01T08:06:27.712Z
publisher: Edumints Blog
lang: tr-TR
source_name: "Hacker News"
source_url: https://github.com/guregodevo/memdoor/tree/main/examples/workflows/team-solve
---

# Memdoor: 5 Qwen3.8-27B Modelinden Oluşan Ekip, LiveCodeBench Hard Testinde Fable 5'i Geride Bıraktı

## team-solve: Çok Ajanlı Programlama İş Akışı

`team-solve`, programlama problemlerini çözmek üzere bir **Memdoor** iş akışı olarak tasarlanmış çok ajanlı (multi-agent) bir çalışma çatısıdır. Sistemde beş ana rol (**planlayıcı**, **iki fikir üretici**, **çözücü**, **yönetici**) ve bir **onarım işçisi (repair worker)** bulunur.

Bu mimarinin yazılım mühendisliği açısından en dikkat çekici pratik çıkarımları şunlardır:
- **İzole Bağlam ve Dosya Tabanlı İletişim:** Her ajan tamamen temiz bir bağlamla (fresh context) başlar ve yalnızca disk üzerindeki dosyalar aracılığıyla iletişim kurar. Bu yaklaşım, uzun konuşma geçmişlerinde yaşanan bağlam kirlenmesini önler.
- **Deterministik Doğrulama:** Başarıya bir dil modeli değil, örnek testleri çalıştıran bir kabuk betiği (`check-samples.sh`) karar verir. Üretim ortamındaki ajan sistemlerinde **LLM-as-a-Judge** yerine deterministik test koşucuları kullanmak güvenilirliği doğrudan artırır.
- **Otonom Kod Üretimi:** GVS5H (Lee, 2026) yöntemini temel alan bu iş akışı dosyaları insan eliyle yazılmamış, yöntemin açıklamasından yola çıkılarak kodlayıcı tarafından (2026-10-25) otomatik üretilmiştir.

## Yazarların İlk On Problemi Üzerinde Beş Geçiş (2026-10-31)

GVS5H yönteminin kendi çatısı, **Qwen3.8-27B** modeli, 128K yanıt sınırı ve yazarların birebir aynı istemleriyle (prompts) Memdoor iş akışı olarak yeniden inşa edilmiştir. **LiveCodeBench Hard** listesindeki ilk 10 problem üzerinde 5 geçiş (toplam 50 çalıştırma) yapılmış ve her program hem açık hem de gizli testlerle değerlendirilmiştir:

- **1. Geçiş:** Memdoor iş akışı **10 / 10**, Yazarların 27B çatısı **9**, Tek başına Fable 5 **7**
- **2. Geçiş:** Memdoor iş akışı **10 / 10**, Yazarların 27B çatısı **10**, Tek başına Fable 5 **8**
- **3. Geçiş:** Memdoor iş akışı **10 / 10**, Yazarların 27B çatısı **10**, Tek başına Fable 5 **10**
- **4. Geçiş:** Memdoor iş akışı **10 / 10**, Yazarların 27B çatısı **9**, Tek başına Fable 5 **8**
- **5. Geçiş:** Memdoor iş akışı **9 / 10**, Yazarların 27B çatısı **10**, Tek başına Fable 5 **7**
- **Ortalama Skor:** Memdoor **9.8**, Yazarların 27B çatısı **9.6**, Tek başına Fable 5 **8.0**

### Maliyet, Performans ve Değerlendirme Notları

- **Maliyet ve Çözüm Oranı:** `bench/results/parity-5pass/` dizininde tüm istekler, yanıtlar ve maliyetler kayıtlıdır. 50 denemenin 49'u çözülmüştür. 50 çalıştırma **35.79$** (15.3M çıktı tokenı) tutmuş; süre sınırı veya düzeltme nedeniyle durdurulan 16 deneme dahil edildiğinde toplam maliyet **38.77$** olmuştur.
- **Çalışma Süresi ve Altyapı:** Bir çalıştırma medyan olarak **40 dakika** model süresi (en uzunu 4 saat) ve **0.39$** maliyet gerektirmiştir. Tüm testler yerel makine yerine **OpenRouter** üzerinde koşturulmuştur.
- **Veri Sızıntısı ve Test Sınırları:** Yarışmalar 29 Mart - 6 Nisan 2025 tarihli olduğundan eğitim verisi kirlenmesi (contamination) ihtimali göz ardı edilemez. Döngü yalnızca açık örnekleri görürken, nihai puan gizli testlerden alınmıştır. Fable 5 sütunu ise problem başına tek bir çağrıyı temsil eder.

## Yazarların Sistemiyle Birebir Aynı Yapı

Geliştiriciler için en önemli derslerden biri **tekrarlanabilirlik** ve **üretim parametrelerinin** hassasiyetidir. `lib/test_parity.py` betiği, yazarların `multiagent_solve` sistemi ile Memdoor iş akışını kurgulanmış tek bir modele karşı çalıştırarak her isteği bayt düzeyinde karşılaştırır (dört senaryonun tamamı birebir aynıdır; tek karakterlik bir değişiklik bile çıktıyı farklılaştırır).

Rol bazlı kullanılan üretim parametreleri şunlardır:
- **Sıcaklık (Temperature):** Planlama için **0.3**, fikir üretimi (ideation) için **0.4**, yönetici ve işçi rollerinde ise daha kararlı çıktı için **0.2**.
- **Örnekleme Parametreleri:** `top_p` **0.95** ve `top_k` **20** olarak sabitlenmiştir. Bu yapı, doğru orkestrasyon ve parametre optimizasyonuyla 27B parametreli açık ağırlıklı modellerin ekip halinde devasa modelleri geçebileceğini kanıtlamaktadır.

---

**Kaynak:** Hacker News (https://github.com/guregodevo/memdoor/tree/main/examples/workflows/team-solve)
**Yayıncı:** [Edumints Blog](https://blog.edumints.com) · Alıntılarken bu URL'ye bağlantı verin: https://blog.edumints.com/memdoor-5-qwen3-8-27b-modelinden-olusan-ekip-livecodebench-hard