Retrieval Hattı Size Yalan Söylüyor: LLM Veriyi Görmeden RAG Nasıl Çöker?

Bir RAG (Retrieval-Augmented Generation) mimarisi başarısız olduğunda, fatura genellikle modele kesilir ve modelin halüsinasyon gördüğü düşünülür. Oysa üretim ortamlarında yaşanan hataların büyük çoğunluğu prompt veya model yetersizliğinden değil; bilgi getirme (retrieval) hattının gerçekliği çarpıtmasından kaynaklanır. LLM yalnızca getirme hattının sunduğu dar pencereyi görür; bu penceredeki veriler bozuksa modelin doğru akıl yürütmesi imkânsızdır.

Retrieval hattında gerçekliğin bozulduğu 9 kritik aşama şunlardır:

1. Kaynak Veri Alım (Ingestion) Aşamasında Bozulur

Belgeler ayrıştırılırken (parsing) anlam kaybolur. Örneğin, PDF tabloları düz metne çevrilirken satır ve sütun hiyerarşisini yitirir. Vektör tabanına anlamsız bir sayı yığını kaydedildiğinde, model doğru veriyi çekse bile onu yorumlayamaz.

2. Parçalama (Chunking) Metin Bölme Değil, Bağlam Cerrahisidir

Metinleri rastgele karakter sınırlarıyla bölmek bağlam bütünlüğünü bozar. Yanlış noktadan bölünen bir parça; bir kuralın istisnasını, önkoşulunu veya ana öznesini dışarıda bırakarak yanıltıcı bilgi üretir.

3. Genel Embedding Modelleri Alanınızı Düzleştirir

Genel amaçlı embedding modelleri, sektörel ve teknik alanlara özgü kavramsal nüansları homojenleştirir. Bu durum, getirme aşamasında aranan spesifik terimler yerine ilgisiz içeriklerin öne çıkmasına yol açar.

4. Benzerlik Kanıt Demek Değildir

Vektör uzayında iki metnin yakın olması, aralarında doğrudan mantıksal bir kanıt ilişkisi bulunduğu anlamına gelmez. Vektör benzerliği yüzeysel bir korelasyondur; bu nedenle üretimde reranking modelleriyle kanıt doğrulaması yapılmalıdır.

5. Meta Veri Güvenin ve İzinlerin Yaşadığı Yerdir

Kullanıcı rol izinleri, belge kaynakları ve tarihler meta veri seviyesinde filtrelenmelidir. Aksi takdirde sistem, yetkisiz veya güvenilmez bağlamları kanıt olarak modele iletir.

6. Eski Sürümler İndeksi Sessizce Zehirler

Güncellenen politikaların eski versiyonları indeksten temizlenmediğinde, getirme hattı eski belgeleri getirmeye devam eder ve model çelişkili gerçeklikler arasında kalarak yanılır.

7. Kullanıcı Sorgusu Asıl Soru Değildir

Kullanıcıların yönelttiği ham sorgular genellikle eksik veya arama için yetersizdir. Ham sorguyu doğrudan aramak yerine sorgu genişletme veya yeniden yazma (query transformation) teknikleri uygulanmalıdır.

8. Kopyalar Getirmeyi Özgüvenle Yanıltır

Birbirine çok benzeyen yinelenen paragraflar, top-k listesini doldurarak gerçek kanıtların bağlam penceresine girmesini engeller ve modelin yanlış yanıtta ısrar etmesine neden olur.

9. Yalnızca Nihai Yanıtı Değerlendiriyorsanız Körsünüz

Sistemi yalnızca son yanıta bakarak test edemezsiniz. Getirme hattını modelden bağımsız olarak hit rate, MRR ve bağlam uygunluğu metrikleriyle ayrı bir değerlendirme sürecine tabi tutmalısınız.

Üretim RAG Mimarileri İçin Bir Getirme Sözleşmesi

Başarılı bir mimari kurmak için şu pratik çıkarımlar uygulanmalıdır:

Ayrıştırma Kalitesi: Tablo ve yapısal verileri koruyarak ingest edin.
Hibrit Arama: Vektör benzerliğini reranker ve meta veri filtreleriyle destekleyin.
Bağımsız Metrikler: Retrieval performansını LLM üretiminden önce doğrulayın.

Orijinal kaynağa buradan ulaşabilirsiniz.

Bu konuyu derinlemesine öğrenmek isterseniz: RAGAS ile RAG Değerlendirme modülüne göz atın.