Yalnızca Olguyu Değil, Kaynağı da Doğrulamak: MCP Ajanları İçin Kaynak Duyarlı Doğrulama

Araç kullanan büyük dil modeli (LLM) ajanları, artık yalnızca tek bir bilgi parçasını okumakla yetinmiyor. Model Context Protocol (MCP) sayesinde bir ajan; arama araçlarını çağırabiliyor, yapılandırılmış hesap veya hasta kayıtlarını inceleyebiliyor, veritabanlarını sorgulayabiliyor ve tüm bu metaverileri harmanlayarak tek bir yanıtta birleştirebiliyor. Ancak bu çoklu araç ekosistemi, geleneksel olgusallık (factuality) doğrulamasını göründüğünden çok daha karmaşık hale getiriyor.

RAGAS sadakat (faithfulness) metriğinden MiniCheck, AlignScore ve SummaC gibi detaylı denetleyicilere kadar mevcut sistemlerin çoğu, tüm kanıtları tek bir havuzda toplar ve iddianın bu havuzda desteklenip desteklenmediğini ölçer. Ancak bu kaynak körü (source-blind) yaklaşım, iddianın hangi MCP araç çıktısıyla desteklendiğini veya yanıtın atıfta bulunduğu kaynakla uyuşup uyuşmadığını denetleyemez. ProvenanceGuard çalışması tam olarak bu boşluğu hedefler ve cross-source conflation (kaynaklar arası karışıklık) adı verilen hata moduna odaklanır: İddia havuzda yer alan bir kanıtta doğru olsa bile yanlış kaynağa atfedilmektedir.

Sorun: Bir Yerde Desteklenmesi, Doğru Kaynak Tarafından Desteklendiği Anlamına Gelmez

Örneğin bir müşteri destek ajanının "Hesap kaydına göre, bu planda 30 günlük iade süresi bulunmaktadır" dediğini varsayalım. İade süresi şirket politika belgesinde gerçekten yer alabilir; ancak yanıtın işaret ettiği hesap kaydında bulunmaz. İki kaynağı tek bir havuzda birleştirdiğinizde iddia doğrulanmış görünür; fakat kaynaklar ayrıştırıldığında atıf tamamen yanlıştır. Veriye duyarlı alanlarda yanlış kaynak atfı, yanlış bir olgu kadar tehlikelidir.

Benzer şekilde klinik bir ajanın hasta geçmişinden aldığı özel bir ilaç bilgisini tıp literatürü bulgusuymuş gibi sunması ciddi riskler doğurur. Standart sadakat puanlamaları havuzdaki eşleşmeyi görüp geçer not verirken, kaynak duyarlı denetleyiciler yanıtın belirttiği kaynak ile destekleyen kaynağın eşleşip eşleşmediğini kontrol etmelidir.

ProvenanceGuard Ne Yapar?

ProvenanceGuard, kara kutu (black-box) MCP ajanlarının üzerine eklenen bir üretim sonrası (post-generation) doğrulama katmanıdır. Ajanı yeniden eğitmeye gerek kalmadan, araç çıktılarını ve kaynak kimliklerini (source ID) içeren MCP trace kayıtlarını okur ve kanıtları anonim bir havuza dönüştürmez. Sırasıyla şu 5 adımı yürütür:

Üretilen yanıtı bağımsız ve somut iddialara ayrıştırır.
Her bir iddia için en ilgili araç kaynağını tespit eder.
İlgili kaynağın iddiayı fiilen destekleyip desteklemediğini kontrol eder.
Yanıtın belirttiği veya ima ettiği kaynak ile kanıtı sağlayan kaynağın uyuştuğunu doğrular.
İddia ile kaynak arasındaki köken (provenance) bağlantısını denetlenebilir kılarak nihai güvenilirlik kararını üretir.

Yazılım Geliştirme ve Öğrenme Açısından Çıkarımlar

Yazılım mühendisleri için bu yaklaşım, üretim ortamında çalışan ajan mimarilerinde şu pratik çıkarımları sunar:

Traceability ve Provenance: MCP tabanlı sistemlerde araç çıktıları tek bir bağlamda eritilmemeli; kaynak kimlikleri (source ID) yanıt hattı boyunca taşınmalıdır.
Post-Generation Guardrail: Finans ve sağlık gibi kritik domain'lerde salt havuz tabanlı doğrulama yeterli değildir; cross-source conflation tespiti yapan doğrulama katmanları kurgulanmalıdır.

Orijinal kaynağa buradan ulaşabilirsiniz.

Bu konuyu derinlemesine öğrenmek isterseniz: Production'da Agent Güvenilirliği modülüne göz atın.