---
title: "MARGIN: Çoklu Ajan Sistemlerinde Çalışma Zamanı Güven Kalibrasyonu"
url: https://blog.edumints.com/margin-coklu-ajan-sistemlerinde-calisma-zamani-guven-kalibrasyonu
category: "LLM"
date: 2026-10-09T09:24:56.433Z
publisher: Edumints Blog
lang: tr-TR
source_name: "Hugging Face Papers"
source_url: https://huggingface.co/papers/2605.22949
---

# MARGIN: Çoklu Ajan Sistemlerinde Çalışma Zamanı Güven Kalibrasyonu

Heterojen temel modellerden oluşan çoklu ajan (*multi-agent*) mimarilerinde, merkezi bir koordinatör farklı ajanlardan gelen yanıtları değerlendirirken kritik bir sorunla karşılaşır: Modellerin kendi bildirdiği güven skorları (*self-reported confidence*), model mimarisine ve değişen iş yüklerine göre tamamen farklı anlamlar taşır. Modeller çoğu zaman yanıltıcı derecede aşırı güven sergileyebilir. Bu makalede sunulan **MARGIN** (*Multi-Agent Runtime Grading via Incremental Normalisation*), modelleri yeniden eğitmeye (*retraining*) veya ayrılmış bir kalibrasyon veri setine ihtiyaç duymadan, gözlemlenen yanıt çıktılarından modele özgü güven düzeltmelerini öğrenen bir çalışma zamanı kalibrasyon yöntemidir.

## MARGIN Mimarisi ve Çalışma Prensibi

MARGIN, çalışma zamanı boyunca modellerin bildirdiği güveni şu aşamalarla dinamik olarak normalize eder:
- **Güven Bantlarının Takibi:** Belirli güven aralıklarında (*confidence bands*) her modelin yakın geçmişteki doğruluk oranını ve beyan ettiği güven seviyesini izler.
- **Oran Tabanlı Düzeltme:** İzlenen doğruluk ile beyan edilen güven arasındaki oranı hesaplayarak modelin raporladığı ham güven skorunu düzeltir.
- **Model Düzeyinde Harmanlama:** Yetersiz veri barındıran seyrek bantlardaki (*sparse-band*) düzeltmeleri model genelindeki güven tahminiyle harmanlayarak kararlı hale getirir.
- **Ağırlıklı Karar Mekanizması:** Elde edilen düzeltilmiş puanları, koordinatörün nihai kararı verirken aday yanıtları ağırlıklandırması için kullanır.

## Deneysel Sonuçlar ve Temel Bulgular

Kod üretimi, soru-cevap ve matematik alanlarında 18 modelli bir havuz ve dağılım kayması (*distribution-shift*) testleri için 9 modelli bir alt küme ile yürütülen deneyler şu sonuçları ortaya koymuştur:
- **Aşırı Güven Paradoksu:** BigCodeBench üzerinde modelin ortalama güven seviyesi ile gerçek doğruluğu arasında negatif bir korelasyon saptanmıştır. Biri doğru diğeri yanlış iki yanıt arasında daha yüksek güven bildiren modeli seçmek, rastgele seçimden (yazı-tura ihtimalinden) bile daha düşük başarı göstermiştir.
- **Düşük Kalibrasyon Hatası:** Birebir aynı geri bildirimi alan 5 çevrim içi kalibrasyon taban çizgisine (*baseline*) karşı test edilen MARGIN; kod üretimindeki iki dağılım kayması senaryosunun tamamında beş yöntemden de daha düşük beklenen kalibrasyon hatası (*ECE*) elde etmiş, soru-cevap senaryosunda ise beş modelin dördünü geride bırakmıştır (kalan bir karşılaştırma ise kesinleşmemiştir).
- **Yanıt Seçim Doğruluğu:** Kod üretimi koordinasyonunda kalibrasyon, doğru yanıtların sıralamasını iyileştirmiş ve kalibre edilmemiş güven ağırlıklandırmasına kıyasla yanıt seçim doğruluğunu üç testin ikisinde **yüzde 4,3** ve **yüzde 14,0** puan artırmıştır.

## Yazılım Geliştiriciler İçin Pratik Çıkarımlar

- **Model Beyanlarına Körlemesine Güvenmeyin:** Çoklu LLM sistemlerinde bir modelin `%95 güvenliyim` demesi gerçek doğruluğu temsil etmez; ham güven skorları doğrudan oylama metriği olarak kullanılmamalıdır.
- **Çalışma Zamanı Geri Bildirim Döngüleri Kurun:** Üretim ortamında birim testler, tip denetleyicileri veya kullanıcı teyitleri gibi doğrulama geri bildirimleri mevcut olduğunda, çalışma zamanında hafif bir kalibrasyon katmanı ekleyerek karar kalitesini belirgin biçimde artırabilirsiniz.
- **Yeniden Eğitim Gerektirmeyen Normalizasyon:** Modelleri fine-tune etmeden de çıktı güvenilirliğini dinamik ve istatistiksel düzeltme algoritmalarıyla üretim ortamında yönetmek mümkündür.

Orijinal makaleye [buradan](https://huggingface.co/papers/2605.22949) ulaşabilirsiniz.

---

Bu konuyu derinlemesine öğrenmek isterseniz: [Production'da Agent Güvenilirliği](https://edumints.com/kesfet/production-agent-orchestration-crewai-ve-autogen-i-u3cu) modülüne göz atın.

---

**Kaynak:** Hugging Face Papers (https://huggingface.co/papers/2605.22949)
**Yayıncı:** [Edumints Blog](https://blog.edumints.com) · Alıntılarken bu URL'ye bağlantı verin: https://blog.edumints.com/margin-coklu-ajan-sistemlerinde-calisma-zamani-guven-kalibrasyonu