Çok Modlu Yeniden Sıralama (Multimodal Reranking) Bir Sistem 1 Kararıdır

Yeniden Sıralamaya Yeni Bir Bakış: Sistem 1 Kararları#

Çok modlu yeniden sıralayıcılar (multimodal rerankers) genellikle özel olarak eğitilmiş modellerdir: Bir görsel-dil modeli (VLM), bir sorgunun adaylarını puanlamak için erişim (retrieval) verileri üzerinde eğitilir. Ancak seçenekleri puanlamak yalnızca yeniden sıralamaya özgü bir işlem değildir. Jev gibi "Sistem 1" karar modelleri, metin üretmeye gerek duymadan bir durumu ve tiplendirilmiş bir soruyu her seçenek için tek bir olasılığa eşler; genel modeller de çok az eğitimle veya hiç eğitim almadan bu tür kararlar verebilir.

Yeniden sıralama işlemi de tam olarak böyle bir karardır: Sorgu ve adaylar "durumu" (state), adayların kendisi ise "seçenekleri" (options) oluşturur. Bu nedenle, genel amaçlı bir VLM'nin Sistem 1 kararları aracılığıyla çok modlu bir yeniden sıralayıcı olarak hizmet edebileceği ve karar ince ayarının (decision tuning) bu sıralama başarısını artırabileceği savunulmaktadır.

Tek İleri Geçişle (Forward Pass) Çoktan Seçmeli Sıralama#

Araştırmada, ilk aşama erişim sisteminden (first-stage retriever) gelen en iyi 16 aday üzerinden VLM'ye tek bir çoktan seçmeli soru sorulur ve adaylar, tek bir ileri geçişten (forward pass) okunan etiket olasılıklarına göre sıralanır. Bu yaklaşımın öne çıkan bulguları şunlardır:

• MMEB-V2 Görüntü Erişimi: Çoktan seçmeli yaklaşım, her aday için ayrı ayrı sorulan evet/hayır sorusuna kıyasla 5.4 ile 7.3 puan daha yüksek hit@1 skoru elde eder. Hatta evet/hayır yaklaşımı ilk aşama erişim sisteminin bile gerisine düşmektedir.
• Sıfır Atış (Zero-Shot) Başarısı: Çoktan seçmeli yöntemle kullanılan zero-shot Qwen3.8-27B, denetimli (supervised) olarak eğitilmiş Qwen3-VL-Reranker-2B modelini her üç kıyaslama testinde (benchmark) geride bırakır ve Reranker-8B modeline her testte 1.6 puan kadar yaklaşır.
• Görsel Dokümanlar ve Gecikme (Latency): MMEB-V2 görsel dokümanlarında Reranker-8B ile aynı performansı (84.79'a karşı 84.78 nDCG@5) sergilerken, gecikme süresi yalnızca 1.1 ila 1.5 katı seviyesinde kalır.
• Sadece Metin Kararlarıyla İnce Ayar: Aynı omurganın yalnızca metin kararları üzerinde ince ayar yapılmış versiyonu olan JEV-27B-VL, sayfa yeniden sıralamasını 0.6 ila 1.1 puan iyileştirir, çoğu görevde kazanç sağlar (işaret testi, $p \le 0.017$) ve doğal görüntülerdeki performansı korur.

Araştırmacılar, zero-shot modelin denetimli yeniden sıralayıcılardan daha büyük ve daha yeni nesil bir model olması nedeniyle bu karşılaştırmalarda karıştırıcı etkenler (confounded) bulunduğunu kabul etmekte; alternatif görüşleri ve bu hipotezi test edecek deneyleri de tartışmaktadır.

Yazılım Geliştirme ve Mühendislik Çıkarımları#

Production ortamında RAG ve arama sistemleri geliştiren mühendisler için bu makale kritik pratik çıkarımlar sunmaktadır:

• Özel Model Zorunluluğunun Azalması: Görsel doküman veya çok modlu arama boru hatları (pipelines) kurarken özel bir reranker modeli eğitmek veya barındırmak yerine, halihazırda sistemde bulunan güçlü bir genel VLM'yi tek geçişli olasılık okuma (logprobs/forward pass) ile yeniden sıralayıcı olarak kullanabilirsiniz.
• Prompt Tasarımının Etkisi: Adayları tek tek "Evet/Hayır" diye puanlatmak yerine, en iyi 16 adayı tek bir bağlamda çoktan seçmeli soru olarak sunmak hem bağlamsal karşılaştırmayı güçlendirir hem de hit@1 doğruluğunu dramatik biçimde artırır.
• Maliyet ve Mimari Basitleştirme: Sadece metin tabanlı karar verileriyle yapılan hafif bir ince ayar bile görsel doküman sıralamasında anlamlı artışlar sağladığından, pahalı çok modlu veri etiketleme süreçlerinden tasarruf edilebilir.

---

Bu konuyu derinlemesine öğrenmek isterseniz: Reranking Modelleri: Serving ve Entegrasyon modülüne göz atın.