RAG Sistemlerine Kanıt Sunmayı Öğretmek: 15 Milyon Belge Ölçeğinde İddia Doğrulama

Büyük Ölçekte RAG Sistemlerinin Sessiz Tuzağı#

Küçük ölçekli bir RAG (Retrieval-Augmented Generation) demosu hazırlamak oldukça kolaydır. Bin adet PDF belgesini bir vektör veritabanına yükleyip bir embedding modeli bağladığınızda, sisteminiz şaşırtıcı bir özgüvenle sorulara yanıt verir. Ancak veri kümesi on bin, yüz bin ve nihayet 15 milyon belgeye ulaştığında tablo değişir. Sistem çökmez, hata günlüklerinde (log) bir uyarı belirmeyebilir ve gecikme süreleri (latency) normal görünebilir. Fakat üretilen o akıcı ve kendinden emin yanıtlar giderek daha sık yanlış çıkmaya başlar.

Büyük ölçekte RAG sistemlerinin en büyük tuzağı budur: Sistem gürültülü bir şekilde çökmez, inandırıcı bir şekilde yanılır. Veri havuzu büyüdükçe, sistemin doğru gibi görünen yanlış bir metin parçasını (chunk) çekip bunun üzerine akıcı ve kaynak gösteriyormuş gibi duran bir yanıt inşa etme ihtimali artar. Buradaki hata modu bir yığın izi (stack trace) değil, doğru gibi tınlayan yanlış bir cümledir.

Daha Büyük Modeller Çözüm Değil: Stanford RegLab Bulguları#

Bu durum teorik bir varsayım değildir ve sadece daha büyük bir dil modeli kullanarak çözülemez. 2025 yılında Stanford RegLab tarafından yapılan bir araştırmada (Magesh vd., Journal of Empirical Legal Studies, 2025), özellikle güvenilir olmaları için geliştirilmiş ticari ve kurumsal düzeydeki hukuk RAG araçları test edildi. Sonuçlara göre bu sistemler vakaların yaklaşık %17 ila %33'ünde halüsinasyon gördü. Hatanın dava edilmekle sonuçlanabileceği bir alanda, her üç ila altı yanıttan birinin yanlış olması bu problemin ne kadar zorlu olduğunu kanıtlar niteliktedir.

RAG halüsinasyonu azaltır ancak tamamen ortadan kaldırmaz. 15 milyon ve üzeri belge ölçeğinde hata payı giderek daralır. Bu noktada değiştirmeniz gereken şey kullandığınız model değil, sistem mimarisidir.

4 Kapılı Mimari Yaklaşım ve "Sıfıra Yakın" Halüsinasyon Hedefi#

15 milyon belgelik bir ölçekte kendinden emin halüsinasyonları sıfıra yakın bir seviyeye indirmek için sihirli bir arama (retriever) motoruna değil, her biri farklı bir yanılgıyı yakalayan dört aşamalı bir kapı (gate) mimarisine ihtiyaç vardır. Bu mimaride sistem, bir bilgiyi uydurmaktansa yanıt vermekten kaçınmayı (abstain) tercih eder.

Uçtan uca boru hattı (pipeline) şu adımlardan oluşur:

Veri Hazırlığı ve İndeksleme (Corpus Prep → Index): Büyük ölçekli verinin işlenmesi ve yapılandırılması.
Getir (Retrieve): İlgili belge parçalarının aranması.
Kısıtla (Constrain): Modelin yalnızca sağlanan bağlamla sınırlandırılması.
Doğrula (Verify): Üretilen iddiaların kaynak metin tarafından desteklenip desteklenmediğinin kontrol edilmesi.
Kaçın (Abstain): Kanıt doğrulanamadığında sistemin dürüstçe "Bunu doğrulayamadım" diyerek yanıt üretmekten vazgeçmesi.

Buradaki "sıfıra yakın" (near-zero) ifadesi bir garanti değil, bir tasarım hedefidir. Amaç sıfır hata yapmak değil; kullanıcıya desteklenmeyen ama kendinden emin görünen hiçbir iddianın ulaşmamasını sağlamaktır.Kusurlu bir doğrulayıcıdan kaçan hatalar olsa bile amaç bunları nadir, sınırlandırılmış ve gözlemlenebilir (observable) kılmaktır.

İlk olarak, RAG neden halüsinasyon görür?#

Unutulmaması gereken temel nokta şudur: Bir RAG sistemi, bu mimarinin yakalamak üzere tasarlandığı üç yaygın hata yolu üzerinden halüsinasyon görür ve veri kümesi büyüdükçe bu üç sorun da kötüleşir. Ayrıca çekilen kaynağın güncelliğini yitirmiş olması, zehirlenmiş (poisoned) olması, yanlış ayrıştırılması (mis-parsed) veya yanlış atfedilmesi gibi ek riskler de mevcuttur.

Yazılım Geliştiriciler İçin Pratik Çıkarımlar#

Sadece modele güvenmeyin: Ölçek büyüdükçe model kapasitesi tek başına doğruluk sağlamaz; doğrulama katmanları (verification gates) ekleyin.
Yanıt vermeme (Abstention) mekanizması kurun: Sistemin bilmediği veya kanıtlayamadığı durumlarda susmasını sağlayacak eşik değerleri (thresholds) ve doğrulama adımları tanımlayın.
Süreci ölçümleyin: RAG değerlendirme metriklerini ve üretim ortamı gözlemlenebilirliğini (observability) boru hattınızın merkezine yerleştirin.