---
title: "MultiAgent-OPD: Politika İçi Damıtma ile Hiyerarşik Çok Ajanlı Sistemlerin Uçtan Uca Eğitimi"
url: https://blog.edumints.com/multiagent-opd-politika-ici-damitma-ile-hiyerarsik-cok-ajanli
category: "LLM"
date: 2026-10-26T08:07:28.759Z
publisher: Edumints Blog
lang: tr-TR
source_name: "Hugging Face Papers"
source_url: https://huggingface.co/papers/2610.23234
---

# MultiAgent-OPD: Politika İçi Damıtma ile Hiyerarşik Çok Ajanlı Sistemlerin Uçtan Uca Eğitimi

## Hiyerarşik Çok Ajanlı Sistemlerde Eğitim Zorluğu

Hiyerarşik bir çok ajanlı sistemde (multi-agent system), bir **Lider (Leader)** ajan görevleri atar ve **alt ajanlar (subagents)** bu görevleri yerine getirir. Ancak Lider ve alt ajanları birlikte (jointly) eğitmek oldukça zordur; çünkü sistemin ürettiği nihai yanıt, alt ajanlara yalnızca dolaylı bir geri bildirim sağlar.

Bir **LLM hakemi (LLM judge)** alt ajanların performansını puanlayabilir; fakat bu puanlar hakemin alt ajan yanıtlarının kalitesine ilişkin kendi öznel değerlendirmesine bağlıdır. Yazılım geliştirme süreçlerinde **LLM-as-a-Judge ve Braintrust** veya **CrewAI: Rol Tabanlı Ajan Ekipleri** gibi yapılar kurarken karşılaşılan en büyük darboğazlardan biri de bu ara adım değerlendirme tutarsızlığıdır.

## MultiAgent-OPD Yaklaşımı ve Mimari Yapı

Bu sorunu çözmek için geliştirilen **MultiAgent-OPD**, parametre paylaşan bir **Lider-Arayıcı-Yanıtlayıcı (Leader-Searcher-Answerer)** ekibini uçtan uca birlikte eğitmek amacıyla **politika içi damıtma (on-policy distillation)** ile **pekiştirmeli öğrenmeyi (reinforcement learning)** birleştirir. Eğitim süreci iki temel aşamadan oluşur:

- **Öğretmen (Teacher) Eğitimi:** İlk olarak, bir Öğretmen model, yanıt doğruluğu (answer correctness) kullanılarak bir **Arayıcı-Yanıtlayıcı (Searcher-Answerer)** iş akışı içinde eğitilir.
- **Uçtan Uca Ekip Eğitimi:** Ekip eğitimi sırasında dondurulmuş (frozen) Öğretmen model, Arayıcılar için yerel süreç gözetimi (local process supervision) sağlamak amacıyla öğrencinin ürettiği arama ve özet token'larını puanlar. Aynı anda Lider ajan ekip başarısından, Yanıtlayıcı ajan ise aday yanıtların doğruluğundan öğrenir.

## Deneysel Sonuçlar ve Performans Kazanımları

Yedi farklı veri kümesi üzerinde yapılan değerlendirmelerde, eğitilen sistem önemli başarılar elde etmiştir:

- Sistem **%38,68 macro avg@4** skoruna ulaşmıştır.
- **Prompted Critic** yaklaşımını **4,06 yüzde puan** geride bırakmıştır.
- Eğitilmiş kademeli çok ajanlı sistem olan **C-MAS + RL** yöntemini **2,61 yüzde puan** aşmıştır.
- Ekip ayrıca dört deneme (four attempts) sınırında daha fazla soruyu başarıyla çözmüştür.

## Yazılım Geliştirme ve Mühendislik Çıkarımları

Modern yapay zeka mühendisliğinde **Microsoft AutoGen: Çok-Ajanlı Konuşma** ve **Production'da Agent Güvenilirliği** pratikleri açısından bu çalışma kritik dersler barındırır:

- **Görev Özelleşmiş Ödül Sinyalleri:** Çok adımlı ajan mimarilerinde tek bir nihai ödül sinyali yerine her rol (Lider, Arayıcı, Yanıtlayıcı) için özelleştirilmiş geri bildirim mekanizmaları tasarlamak öğrenme kararlılığını artırır.
- **Token Düzeyinde Süreç Gözetimi:** Dışsal bir LLM hakeminin belirsiz puanlaması yerine, daha basit bir iş akışında doğrulanmış bir Öğretmen modelden token düzeyinde damıtma yapmak, ara adımlardaki hata birikimini önler.
- **Parametre Paylaşımı ile Verimlilik:** Farklı ajan rollerini ortak parametrelerle uçtan uca eğitmek, üretim ortamında bellek ve sunum (serving) maliyetlerini düşürürken ekip içi uyumu güçlendirir.

---

**Kaynak:** Hugging Face Papers (https://huggingface.co/papers/2610.23234)
**Yayıncı:** [Edumints Blog](https://blog.edumints.com) · Alıntılarken bu URL'ye bağlantı verin: https://blog.edumints.com/multiagent-opd-politika-ici-damitma-ile-hiyerarsik-cok-ajanli