Görsel Belge Erişiminde Üretken Geç-Etkileşimli Temsiller (GLIE)

Görsel belge arama sistemlerinde geç-etkileşim (late-interaction) mimarileri günümüzün en yüksek doğruluk standardını temsil etmektedir. Ancak bu yaklaşım, sayfa başına üretilen yaklaşık 1.000 vektör ($N \approx 1000$) nedeniyle çok ciddi bir depolama maliyeti doğurur. Mevcut sıkıştırma yöntemleri vektörlerin bir alt kümesini örneklemeye veya yerel ortalamalarını almaya dayanır. Fakat agresif depolama kısıtları altında bu yöntemlerin başarımı hızla düşer; alternatif yaklaşımlar ise ağır kodlayıcı (encoder) modellerin baştan eğitilmesini gerektirir.

Farklı kodlayıcılar üzerinde yapılan geometrik incelemeler iki tutarlı özellik ortaya koymuştur: Vektörler doğrudan birim küre yüzeyinde yer almakta ve özünde yalnızca 5 ila 6 boyutlu bir manifold etrafında yoğunlaşmaktadır. Bu geometri iki kritik içgörü sunar:

Birim Küre Normalizasyonu: Standart k-means küme merkezleri kürenin içine doğru çöker; bu durum MaxSim benzerlik skorlarının sistematik biçimde düşük hesaplanmasına yol açar. Merkezleri birim küre yüzeyine yeniden normalize etmek, model eğitimi gerektirmeksizin +0.093 nDCG@5'e varan net bir başarım kazancı sağlar.
Düşük Boyutlu Üretken Taban: Sayfa manifoldunun serbestlik derecesi çok düşük (5-6) olduğundan, 1.000 vektörlük tam küme yalnızca birkaç çekirdek vektör üzerinden aslına sadık biçimde yeniden üretilebilir.

Bu bulgular doğrultusunda geliştirilen GLIE (Generative Late-Interaction Embeddings), sayfa başına normalize edilmiş merkezlerden türetilen yalnızca $k \ll N$ (örneğin sayfa başına 4) vektör saklar. Bu $k$ adet vektör, hem son derece hafif bir arama indeksi oluşturur hem de sayfanın tüm vektör kümesini yeniden üretmek için generatif bir taban görevi görür. Sorgu anında arama yalnızca bu $k$ vektör üzerinde yürütülür; ardından hafif bir kod çözücü (decoder), sadece en yüksek potansiyele sahip aday belgeleri tam $N$ vektöre genişleterek kesin yeniden puanlama (rescoring) gerçekleştirir.

ViDoRe v1 kıyaslamasında, sayfa başına yalnızca 4 vektör ile sıkıştırılmamış orijinal sistemin nDCG@5 başarımının yaklaşık %80'i korunmuştur (önceki en iyi yöntemde bu oran %70'tir). Üstelik sistem, yalnızca 415 bin parametreli kompakt bir ağdan oluşur ve 1.000 sayfa üzerinde 3 GPU dakikasından kısa sürede eğitilebilir. Eşit hesaplama bütçesinde kodlayıcıyı ince ayar (fine-tune) yapmak, GLIE'nin sıfır eğitimli aşamasını dahi yakalayamamaktadır. Bu kazanımlar ViDoRe v2 ve farklı kodlayıcı mimarilerinde de geçerliliğini korumuştur.

Yazılım Geliştiriciler İçin Pratik Çıkarımlar

Talep Doğrultusunda Yeniden Üretim (On-Demand Reconstruction): Vektör veritabanlarında binlerce ham vektörü indekslemek yerine, hafif bir taban indeks üzerinden hızlı filtreleme yapıp en iyi adayları çıkarım anında kod çözücüyle açmak depolama ve bellek darboğazını çözer.
Geometrik Düzeltmeleri İhmal Etmeyin: MaxSim ve birim küre üzerinde çalışan embedding boru hatlarında k-means merkezlerini birim küreye geri normalize etmek, sıfır maliyetle anında doğruluk artışı sağlar.
MLOps ve Servis Optimizasyonu: Dev görüntü-dil kodlayıcılarını yeniden eğitmek yerine 415 bin parametrelik mikro bir kod çözücü eğitmek, model dağıtım maliyetlerini ve karmaşıklığını ciddi oranda düşürür.

[Orijinal kaynağa buradan ulaşabilirsiniz.](https://huggingface.co/papers/2609.11808)

Bu konuyu derinlemesine öğrenmek isterseniz: Embedding Model Serving Temelleri modülüne göz atın.