Glance: Üretici Modelin Kendi Yeniden Sıralayıcısı (Reranker) Olması

RAG Mimarilerinde Çift Model Yükü ve Glance Yaklaşımı#

Geleneksel erişim destekli üretim (RAG) sistemleri, metinleri yeniden sıralamak (reranking) ve yanıt üretmek için genellikle ayrı modeller çalıştırır. Bu durum hem modelin bellekte tuttuğu alanı (model residency) hem de metin parçalarının (passage) işlenme sürecini ikiye katlar. Glance, üretici modeli (generator) hafif bir karar adaptörü (decision adapter) ve işaretçi başlığı (pointer head) ile donatarak aday metin parçalarını ortak bir ön-dolum (shared prefill) üzerinden puanlayan yeni bir mimari sunar.

• Ortak Ön-Dolum ve Kısa İlgililik Sondaları: Her sorgu-metin çiftini ayrı ayrı ön-doluma tabi tutmak yerine, önbelleğe alınmış bağlamdan (cached context) dallanan kısa ilgililik sondaları (relevance probes) kullanılır ve her metin parçası için tek bir puan üretilir.
• Tek Omurga ile Çoklu Görev: Bellekte yerleşik tek bir 9B parametreli ana model (backbone); metin üretimini, genel kararları ve yeniden sıralama işlemlerini destekler. Her bir karar yeteneği için yalnızca yaklaşık 0.1 GiB ek bellek gerekir.

Performans, Eğitim Maliyeti ve Ölçeklenebilirlik Bulguları#

Glance, düşük eğitim maliyetine rağmen güçlü sıralama ve uçtan uca yanıt kalitesi sunar:

• Hızlı İnce Ayar ve Sıralama Başarısı: Yalnızca 39 dakikalık MS MARCO ince ayarının (fine-tuning) ardından Glance, SciFact veri setinde 0.741 ve NFCorpus üzerinde 0.345 nDCG@10 skoruna ulaşır. Bu sonuçlar, yaygın kullanılan bge-reranker-v2-m3 modelinin aynı veri setlerindeki 0.721 ve 0.326 skorlarını geride bırakmaktadır.
• Uçtan Uca Yanıt Kalitesi (HotpotQA): 300 HotpotQA sorusu üzerinde yapılan testlerde, aynı temel üretici model kullanıldığında, Glance tarafından seçilen bağlam yanıt F1 skorunu çapraz kodlayıcı (cross-encoder) tarafından seçilen bağlama kıyasla 0.045 oranında artırır (eşleştirilmiş bootstrap %95 güven aralığı [0.014, 0.076]).
• Geniş Bağlamda Ölçeklenme ve Önbellek Korunumu: Ölçeklendirme çalışmalarında, tek bir ortak ön-dolumdan puanlanan 200 adaya (43 bin token) kadar yeniden sıralama kalitesi artmaya devam eder ve çapraz kodlayıcıyı 0.058 nDCG@10 puanı ile geçer. Üstelik yalnızca sonda aşamasında etkinleşen adaptör sayesinde, metin üretimi orijinal metin önbelleğinden (passage cache) kesintisiz devam edebilir.

Yazılım Geliştirme ve Mühendislik Açısından Pratik Çıkarımlar#

Bu ilk sonuçlar, tek bir yerleşik ana model ile üretici tabanlı yeniden sıralamanın mümkün olduğunu kanıtlamaktadır (mevcut değerlendirmeler şimdilik iki erişim veri seti, bir soru-cevap veri seti ve tek bir model ailesini kapsamaktadır). Mühendislik ekipleri için temel çıkarımlar şunlardır:

• VRAM ve Altyapı Tasarrufu: Ayrı bir reranker servisi barındırmak yerine ana LLM üzerinde 0.1 GiB gibi ihmal edilebilir bir adaptör ekiyle sıralama yapmak, GPU bellek maliyetini ve servis orkestrasyon karmaşıklığını düşürür.
• KV Cache Yeniden Kullanımı ile Düşük Gecikme (Latency): Sıralama aşamasında oluşturulan KV önbelleğinin yanıt üretiminde doğrudan yeniden kullanılması, özellikle 43 bin token gibi geniş bağlamlarda tekrarlı prefill hesaplamalarını ortadan kaldırarak ilk token süresini (TTFT) ciddi ölçüde kısaltır.

---

Bu konuyu derinlemesine öğrenmek isterseniz: Reranking Modelleri: Serving ve Entegrasyon modülüne göz atın.