MultiAgent-OPD: Politika İçi Damıtma ile Hiyerarşik Çok Ajanlı Sistemlerin Uçtan Uca Eğitimi

Hiyerarşik Çok Ajanlı Sistemlerde Eğitim Zorluğu#

Hiyerarşik bir çok ajanlı sistemde (multi-agent system), bir Lider (Leader) ajan görevleri atar ve alt ajanlar (subagents) bu görevleri yerine getirir. Ancak Lider ve alt ajanları birlikte (jointly) eğitmek oldukça zordur; çünkü sistemin ürettiği nihai yanıt, alt ajanlara yalnızca dolaylı bir geri bildirim sağlar.

Bir LLM hakemi (LLM judge) alt ajanların performansını puanlayabilir; fakat bu puanlar hakemin alt ajan yanıtlarının kalitesine ilişkin kendi öznel değerlendirmesine bağlıdır. Yazılım geliştirme süreçlerinde LLM-as-a-Judge ve Braintrust veya CrewAI: Rol Tabanlı Ajan Ekipleri gibi yapılar kurarken karşılaşılan en büyük darboğazlardan biri de bu ara adım değerlendirme tutarsızlığıdır.

MultiAgent-OPD Yaklaşımı ve Mimari Yapı#

Bu sorunu çözmek için geliştirilen MultiAgent-OPD, parametre paylaşan bir Lider-Arayıcı-Yanıtlayıcı (Leader-Searcher-Answerer) ekibini uçtan uca birlikte eğitmek amacıyla politika içi damıtma (on-policy distillation) ile pekiştirmeli öğrenmeyi (reinforcement learning) birleştirir. Eğitim süreci iki temel aşamadan oluşur:

• Öğretmen (Teacher) Eğitimi: İlk olarak, bir Öğretmen model, yanıt doğruluğu (answer correctness) kullanılarak bir Arayıcı-Yanıtlayıcı (Searcher-Answerer) iş akışı içinde eğitilir.
• Uçtan Uca Ekip Eğitimi: Ekip eğitimi sırasında dondurulmuş (frozen) Öğretmen model, Arayıcılar için yerel süreç gözetimi (local process supervision) sağlamak amacıyla öğrencinin ürettiği arama ve özet token'larını puanlar. Aynı anda Lider ajan ekip başarısından, Yanıtlayıcı ajan ise aday yanıtların doğruluğundan öğrenir.

Deneysel Sonuçlar ve Performans Kazanımları#

Yedi farklı veri kümesi üzerinde yapılan değerlendirmelerde, eğitilen sistem önemli başarılar elde etmiştir:

• Sistem %38,68 macro avg@4 skoruna ulaşmıştır.
• Prompted Critic yaklaşımını 4,06 yüzde puan geride bırakmıştır.
• Eğitilmiş kademeli çok ajanlı sistem olan C-MAS + RL yöntemini 2,61 yüzde puan aşmıştır.
• Ekip ayrıca dört deneme (four attempts) sınırında daha fazla soruyu başarıyla çözmüştür.

Yazılım Geliştirme ve Mühendislik Çıkarımları#

Modern yapay zeka mühendisliğinde Microsoft AutoGen: Çok-Ajanlı Konuşma ve Production'da Agent Güvenilirliği pratikleri açısından bu çalışma kritik dersler barındırır:

• Görev Özelleşmiş Ödül Sinyalleri: Çok adımlı ajan mimarilerinde tek bir nihai ödül sinyali yerine her rol (Lider, Arayıcı, Yanıtlayıcı) için özelleştirilmiş geri bildirim mekanizmaları tasarlamak öğrenme kararlılığını artırır.
• Token Düzeyinde Süreç Gözetimi: Dışsal bir LLM hakeminin belirsiz puanlaması yerine, daha basit bir iş akışında doğrulanmış bir Öğretmen modelden token düzeyinde damıtma yapmak, ara adımlardaki hata birikimini önler.
• Parametre Paylaşımı ile Verimlilik: Farklı ajan rollerini ortak parametrelerle uçtan uca eğitmek, üretim ortamında bellek ve sunum (serving) maliyetlerini düşürürken ekip içi uyumu güçlendirir.