UNREAL: Tek Model ile Bilgi Getirme ve Uzun Bağlamın Birleştirilmesi

Giriş ve Problem Tanımı#

Uzun bağlamlı çıkarım (long-context inference) ile Getirme Artırımlı Üretim (RAG), kanıt seçimi sürecini iki farklı uç ölçekte ele alır: tek bir uzun istemden devasa bir korpusun tamamına kadar. UNREAL (Unifying Retrieval and Long-Context with a Single Model) mimarisi, tek bir model içi mekanizmanın bu geniş aralık boyunca kanıt seçimi yapıp yapamayacağı sorusuna odaklanarak korpus getirme ile uzun bağlam çıkarımını tek bir temelde birleştirir.

UNREAL Mimarisi ve Çalışma Prensibi#

UNREAL, harici getirme modellerine duyulan ihtiyacı ortadan kaldırarak dondurulmuş bir büyük dil modelinin (frozen LLM) dahili temsillerinden doğrudan yararlanır:

Dahili Temsil Kullanımı: Metin parçalarını (chunks) kodlar ve arama sorgularını doğrudan dondurulmuş LLM'in kendi katman temsillerinden türetir.
Düşük Parametre Yükü: Ana model omurgasını tamamen değiştirmeden bırakır ve sisteme yalnızca 500 binden daha az eğitilebilir parametre ekler.

Başarım ve Benchmark Sonuçları#

Model, 3 milyar token ve 21 milyon parçadan oluşan devasa Wikipedia indeksi üzerinde test edilmiş; dört yoğun (dense) ve hibrit UNREAL omurgasının tamamı mevcut son teknoloji retriever-reranker sistemlerini geride bırakmıştır:

HotpotQA: Geri çağırma (recall) oranını %49.1'den %73.2'ye yükseltmiştir.
2WikiMultiHopQA: Başarımı %31.7'den %60.1'e çıkarmıştır.
MuSiQue: Geri çağırma skorunu %8.8'den %14.4'e taşımıştır.
NoLiMa (128K Bağlam): Üretim öncesinde dikkat dağıtıcı unsurları eleyerek 128K maksimum bağlam uzunluğunda doğruluğu %1.0'den %24.83'e ulaştırmıştır.
LV-Eval (256K Bağlam): 256K token bağlamında F1 skorunu %49.97'den %54.66 seviyesine çıkarmıştır.
Hesaplama ve Gecikme Verimliliği: Yaklaşık 32K token eşiğinden itibaren tam bağlam çıkarımına kıyasla FLOP gereksinimini ve ilk token süresini (time-to-first-token / TTFT) düşürmüş, bağlam uzadıkça bu kazanım daha da belirginleşmiştir.

Yazılım Geliştirme ve Mühendislik Açısından Çıkarımlar#

Boru Hattı Sadeleştirmesi: Ayrı embedding sunucuları ve reranker modelleri çalıştırmak yerine tek bir LLM'in dahili mekanizmasını kullanmak, sistem karmaşıklığını ve dağıtım maliyetlerini ciddi oranda azaltır.
Gecikme ve TTFT Optimizasyonu: 32K token üzerindeki uzun girdilerde gereksiz bağlam parçalarını üretimden önce filtrelemek, GPU bellek baskısını azaltarak ilk yanıt gecikmesini minimize eder.
Düşük Adaptasyon Maliyeti: Temel modelin dondurulması ve 500K'dan az parametre eklenmesi, kurumsal ortamlarda devasa fine-tuning bütçelerine gerek kalmadan gelişmiş getirme kabiliyeti kazandırır.

Bu konuyu derinlemesine öğrenmek isterseniz: Reranking Modelleri: Serving ve Entegrasyon modülüne göz atın.