Daha İyi ve Daha Verimli RAG İçin Daha Hızlı Geri Getirme (Retrieval)

Maksimum İç Çarpım Araması (MIPS), öneri sistemlerinin, arama motorlarının ve Geri Getirme Destekli Üretim (RAG) mimarilerinin merkezinde yer alır. Bir sorgu vektörü verildiğinde MIPS sistemleri, milyonlarca aday anahtar (key) vektörü içeren bir veritabanında sorguyla en iyi eşleşeni arar. En iyi eşleşen anahtarla ilişkili orijinal veri noktası daha sonra sorguyu işlemek için kullanılır; RAG sistemlerinde soruyu yanıtlamaya en uygun belge genellikle sorgunun başına eklenir.

Anahtar sayısı milyonlara ulaştığında ve vektör boyutları binleri bulduğunda, sorguyu tüm anahtarlarla kapsamlı bir şekilde karşılaştırmanın hesaplama maliyeti çarpıcı biçimde artar. Kümeleme (clustering) ve nicemleme (quantization) kullanarak doğruluk ile hız arasında denge kuran çok sayıda yaklaşık yöntem önerilmiştir. Bu temel yöntemler akıllı indeksleme yapıları oluşturmak için anahtar kümesinin özelliklerine odaklansa da, geometrik varsayımları sorgu kümesinin anahtarlara benzeyeceğini varsayar veya sorguların nasıl görüneceğine dair değerlendirmeleri göz ardı eder. Bu durum iki açıdan sorun yaratabilir:

• Kritik RAG senaryosunda sorgular, kullanıcıların oluşturduğu kısa sorulardan oluşurken; anahtarlar uzun, bilgilendirici ve özenle seçilmiş metin parçalarını temsil eder. Bu da anahtarları ve sorguları birbirinden önemli ölçüde farklı kılar.
• Üretim ortamında (production) devreye alınan çoğu MIPS kullanım senaryosu, istikrarlı ve iyi tanımlanmış bir sorgu dağılımına sahip mevcut bir kullanıcı tabanını hedefler; ancak genel amaçlı ve sorgudan bağımsız (query-agnostic) yöntemler bu değerli sinyali kullanmadan bırakır.

Olası tüm girdilerde iyi performans hedeflemek yerine, olası bir girdi kaynağı için en iyi çalışan yöntemler tasarlamak, bilgi işlem kaynaklarını daha verimli yönlendirmeye yardımcı olan modern makine öğreniminin temel ilkelerinden biridir. ICML 2026'da sunulan Amortizing Maximum Inner Product Search with Learned Support Functions başlıklı makalede Apple araştırmacıları, sabit bir anahtar veritabanı için çevrimdışı olarak bir kez eğitilen ve sorguları en iyi eşleşmelerine daha hızlı yönlendirmeyi öğrenen küçük sinir ağları (NN) geliştiriyor. Bu yaklaşım, çıkarım (inference) zamanında küçük sinir ağları aracılığıyla daha hızlı ve daha doğru geri getirme elde etmek karşılığında, tipik sorguların nasıl eşleştiğini anlamak için baştan ödenen bir amortisman maliyetini göze alır.

Maksimum İç Çarpım Aramasının Temelleri#

MIPS'teki temel ilkelerden biri, aramayı hızlandırmak için anahtar kümesinin geometrisinden yararlanmaktır:

• Tipik MIPS sistemleri, anahtar kümesini $k$ adet kümeye böler ($k$ genellikle toplam anahtar sayısı $n$'den çok daha küçüktür) ve her küme için temsili bir merkez (centroid) takip eder.
• Yeni bir sorgu alındığında sistem bunu $k$ merkezle karşılaştırır. Sorgu, en yakın olduğu temsili merkezin kümesine yönlendirilir ve ardından o kümede saklanan tüm anahtarlarla kapsamlı bir şekilde karşılaştırılır.
• Veritabanında $n$ anahtar ve eşit dağılmış $k$ küme varsa, ikinci adımda değerlendirilecek etkin anahtar sayısı $n / k$ mertebesindedir; bu da saf kapsamlı yaklaşımdaki $n$ karşılaştırmaya kıyasla $k$ kat hızlanma sağlar.

Ne yazık ki bu yönlendirme mekanizması hatalara yol açabilir; çünkü merkez tabanlı yönlendirme kesin bir yaklaşım değildir ve uzayı mesafeye dayalı bölümlemeye güvendiği için en yakın komşuları kaçırabilir.

Geliştiriciler İçin Pratik Çıkarımlar#

RAG ve vektör arama sistemleri geliştiren mühendisler için bu araştırma önemli dersler barındırır (Ölçeklendirme ve Optimizasyon ile RAGAS ile RAG Değerlendirme süreçlerinde doğrudan uygulanabilir):

• Sorgu ve Belge Asimetrisini Dikkate Alın: Kullanıcı sorguları kısa, veritabanındaki metin parçaları (chunk) uzundur. İndeksleme ve embedding stratejinizi seçerken bu yapısal farkı hesaba katın.
• Üretim Verisi Dağılımından Yararlanın: Sisteminiz canlıya çıktığında kullanıcıların ne tür sorular sorduğunu izleyin; sabit ve genel indeks parametreleri yerine gerçek sorgu dağılımınıza göre optimize edilmiş yönlendirme ve arama yapıları kullanın.
• Çevrimdışı Maliyet ile Çevrimiçi Hız Dengesi: Sabit veya seyrek güncellenen bilgi tabanlarında, çevrimdışı eğitim/indeksleme aşamasında daha fazla hesaplama yaparak çalışma zamanı (inference) gecikmesini ve doğruluğunu ciddi ölçüde iyileştirebilirsiniz.