Geri Getirim Artırımlı Kendi Kendini Hatırlama: RAG’in Kimsenin Bahsetmediği Sorun

Neredeyse her RAG rehberi aynı problemi çözer: Doküman yığınından kullanıcının sorusuna uygun parçaları getirmek. En doğru pasajı üste sırala, isteme ekle, bitti.

Ancak tamamen farklı davranan ikinci bir RAG türü var: Ajanın kendi belleğinden veri getirmesi.

Bunu otonom ticaret ajanı geliştirirken fark ettim. Ajan; kararlar ve başarısızlık raporları gibi 700'den fazla markdown notuyla kendi belleğini biriktiriyordu. Göreve başlarken bu geçmişi sorguluyordu: Bunu daha önce denedik mi? X hakkında ne karar verdik?

Bilgi tabanı ajanın kendi büyüyen belleği olduğunda RAG problemi tersine döner ve standart yöntemler sessizce yanlış yapar.

Kendi Kendini Hatırlama Neden Doküman Soru-Cevaplama Değildir?

Doküman soru-cevaplamada temel varsayım cevabın külliyatta mevcut olduğudur. Göreviniz en doğru parçayı üste taşımaktır.

Kendi kendini hatırlamada (self-recall) ise en kritik sorgular, cevabın orada olmadığı durumlardır.

Ajan "X filtresini denedik mi?" diye sorar. Cevap hayır ise, standart RAG en yakın ama alakasız notları getirir ve ajan bunu "denemişiz" kabul eder. Hata sıralamada değil, sistemin "burada ilgili veri yok" diyememesindedir. Pratik çıkarım: Ajan projelerinde kesinlikle "çekimser kalma" (abstain) şartları kurgulanmalıdır.

Ajan Belleğine Özgü Üç Başarısızlık Senaryosu

Belleğe bu gözle baktığınızda, standart RAG sistemlerinin hiç karşılaşmadığı üç başarısızlık senaryosu belirir:

1. Boşluklar üzerinde halüsinasyon: Sorgunun karşılığı olmasa da sistem en yakın veriyi getirir ve bu "evet" algılanır. Ajanın çekimser kalması gerekir.
2. Karar verilmiş konuları yeniden tartışmak: Ajan aylar önce elediği fikri tekrar sunar çünkü elenen kararın notu bulunamamıştır. Bellek geçmiş kararları savunabilmelidir.
3. Bayat belleklerle hareket etmek: Freshness (güncellik) sinyali yoksa eski bilgi güncel kabul edilir. Finansal işlemlerde bu büyük kayıplara yol açar.

Bunlar sıralama problemi değildir. Gelişmiş gömme modelleri kullanmak sadece daha emin hatalı sonuçlar üretir.

Yeni Bakış Açısı: Sıralama Değil, Çekimserlik

Tüm serinin ana tezi şudur:

Doküman RAG sıralamayı optimize ederken, ajan belleği RAG'i kalibre edilmiş çekimserliği (bilmediğini bilmeyi) optimize etmelidir.

Alışık olduğumuz MRR veya nDCG metrikleri çekimserliği ölçmez. Sadece cevap varmış gibi sıralamayı puanlar. Bu yüzden hazır RAG araçlarını doğrudan ajanın belleğine bağlamak üretimde başarısız olur.

RE-call: Bir Referans Uygulama

Bu sorunu çözmek için sıfırdan çekimser kalma odaklı tasarlanan açık kaynaklı RE-call motorunu yazdım:

• Depolama ve Erişim: PostgreSQL + pgvector ile tek veritabanında hibrit vektör ve metin araması.
• Üç Dürüstlük Koruması: Yetersiz eşleşmelerde uyaran gap_warning, güncellik sinyali ve eski kararları kontrol eden anti-re-litigation mekanizması.
• Dürüst Değerlendirme: Sistemin çekimser kalması gerektiğinde ne sıklıkla kalamadığını ölçen "yalancı güven oranı" metriği.

Bu sistem ajanların belleklerini doğrudan sorgulamaları için bir MCP sunucusu olarak çalışır.

Bu Serinin Kapsamı

Seri şu altı bağımsız bölümden oluşmaktadır:

1. Bu bölüm — farklar.
2. Sadece Postgres üzerinde hibrit RAG — mimari nedenleri.
3. RAG'e "Bilmiyorum" demeyi öğretmek — koruma mekanizmaları.
4. Erişim ve dürüstlüğü test etmek — metrikler.
5. Aktarılamayan boşluk eşiği — eşik sürprizi.
6. Sonuçsuz ince ayar ve MCP dağıtımı.

Sonraki Adım

İkinci bölümde, harici vektör deposu kullanmadan Postgres ile hibrit arama çekirdeğini kuracağız.

Orijinal makaleye buradan ulaşabilirsiniz.