Görsel Belge Erişiminde Üretken Geç-Etkileşimli Temsiller (GLIE)

Görsel belge arama sistemlerinde geç-etkileşim (late-interaction) mimarileri günümüzün en yüksek doğruluk standardını temsil etmektedir. Ancak bu yaklaşım, sayfa başına üretilen yaklaşık 1.000 vektör ($N \approx 1000$) nedeniyle çok ciddi bir depolama maliyeti doğurur. Mevcut sıkıştırma yöntemleri vektörlerin bir alt kümesini örneklemeye veya yerel ortalamalarını almaya dayanır. Fakat agresif depolama kısıtları altında bu yöntemlerin başarımı hızla düşer; alternatif yaklaşımlar ise ağır kodlayıcı (encoder) modellerin baştan eğitilmesini gerektirir.

Farklı kodlayıcılar üzerinde yapılan geometrik incelemeler iki tutarlı özellik ortaya koymuştur: Vektörler doğrudan birim küre yüzeyinde yer almakta ve özünde yalnızca 5 ila 6 boyutlu bir manifold etrafında yoğunlaşmaktadır. Bu geometri iki kritik içgörü sunar:

• Birim Küre Normalizasyonu: Standart k-means küme merkezleri kürenin içine doğru çöker; bu durum MaxSim benzerlik skorlarının sistematik biçimde düşük hesaplanmasına yol açar. Merkezleri birim küre yüzeyine yeniden normalize etmek, model eğitimi gerektirmeksizin +0.093 nDCG@5'e varan net bir başarım kazancı sağlar.
• Düşük Boyutlu Üretken Taban: Sayfa manifoldunun serbestlik derecesi çok düşük (5-6) olduğundan, 1.000 vektörlük tam küme yalnızca birkaç çekirdek vektör üzerinden aslına sadık biçimde yeniden üretilebilir.

Bu bulgular doğrultusunda geliştirilen GLIE (Generative Late-Interaction Embeddings), sayfa başına normalize edilmiş merkezlerden türetilen yalnızca $k \ll N$ (örneğin sayfa başına 4) vektör saklar. Bu $k$ adet vektör, hem son derece hafif bir arama indeksi oluşturur hem de sayfanın tüm vektör kümesini yeniden üretmek için generatif bir taban görevi görür. Sorgu anında arama yalnızca bu $k$ vektör üzerinde yürütülür; ardından hafif bir kod çözücü (decoder), sadece en yüksek potansiyele sahip aday belgeleri tam $N$ vektöre genişleterek kesin yeniden puanlama (rescoring) gerçekleştirir.

ViDoRe v1 kıyaslamasında, sayfa başına yalnızca 4 vektör ile sıkıştırılmamış orijinal sistemin nDCG@5 başarımının yaklaşık %80'i korunmuştur (önceki en iyi yöntemde bu oran %70'tir). Üstelik sistem, yalnızca 415 bin parametreli kompakt bir ağdan oluşur ve 1.000 sayfa üzerinde 3 GPU dakikasından kısa sürede eğitilebilir. Eşit hesaplama bütçesinde kodlayıcıyı ince ayar (fine-tune) yapmak, GLIE'nin sıfır eğitimli aşamasını dahi yakalayamamaktadır. Bu kazanımlar ViDoRe v2 ve farklı kodlayıcı mimarilerinde de geçerliliğini korumuştur.

Yazılım Geliştiriciler İçin Pratik Çıkarımlar#

• Talep Doğrultusunda Yeniden Üretim (On-Demand Reconstruction): Vektör veritabanlarında binlerce ham vektörü indekslemek yerine, hafif bir taban indeks üzerinden hızlı filtreleme yapıp en iyi adayları çıkarım anında kod çözücüyle açmak depolama ve bellek darboğazını çözer.
• Geometrik Düzeltmeleri İhmal Etmeyin: MaxSim ve birim küre üzerinde çalışan embedding boru hatlarında k-means merkezlerini birim küreye geri normalize etmek, sıfır maliyetle anında doğruluk artışı sağlar.
• MLOps ve Servis Optimizasyonu: Dev görüntü-dil kodlayıcılarını yeniden eğitmek yerine 415 bin parametrelik mikro bir kod çözücü eğitmek, model dağıtım maliyetlerini ve karmaşıklığını ciddi oranda düşürür.

---

Bu konuyu derinlemesine öğrenmek isterseniz: Embedding Model Serving Temelleri modülüne göz atın.