RAG Sistemlerinde Görselleri Nasıl İndeksliyoruz?

Kapa.ai, teknik dokümantasyonlardaki görselleri RAG (Retrieval-Augmented Generation) süreçlerine entegre etmek için geliştirdiği yöntemi paylaşıyor. Sorgu anında görsel işlemek yerine, indeksleme aşamasında görselleri metne dönüştürerek maliyet ve performans verimliliği sağlıyorlar.

Teknik Dokümantasyonda Görseller Aslında Ne İşe Yarar?

Görseller teknik belgelerde iki gruba ayrılır:

Açıklayıcı Görseller: Metindeki talimatı görselleştirir (örn. "ayarlar ikonuna tıklayın" ifadesinin yanındaki ekran görüntüsü).
Taşıyıcı (Veri İçeren) Görseller: Şema, devre kartı veya tablo gibi doğrudan cevabın kaynağı olan görsellerdir. Pratik Çıkarım: Yazılım geliştirirken, dokümantasyon chat botlarının sadece metne odaklanması bilgi kaybına yol açar. Görselleri anlamlandırmak, kullanıcı deneyimini doğrudan artırır.

Sorgu Sırasında Çok Modlu Yaklaşım Neden Büyük Ölçekte Çalışmaz?

Sorgu anında görselleri doğrudan GPT veya Claude gibi çok modlu modellere göndermek üç yapısal soruna yol açar:

Maliyet: Ham görseller API maliyetlerini %27 ila %51 oranında artırır.
Boyut Sınırları: Bir sorguda dönen 20-30 görsel, LLM bağlam limitlerini (token) ve istek boyutu sınırlarını aşar.
Arama Uyumsuzluğu: CLIP benzeri çok modlu vektör aramaları, teknik tablolardaki ince detayları kaçırır. Pratik Çıkarım: Sistem mimarisi tasarlarken ham veriyi doğrudan çalıştırmak yerine, veriyi önceden işlemek (preprocessing) her zaman daha verimli ve sürdürülebilirdir.

İndeksleme Sırasında Bir Kez Tanımla, Metin Olarak Eriş

Kapa.ai çözümü tersine çeviriyor: Görselleri sorgu anında değil, indeksleme aşamasında bir kez betimleyip metne çeviriyor.

Sorgu sırasında model sadece bu metin betimlemesini (caption) görür, ham görseli görmez.
Cevapta ise orijinal görselin URL'si kaynak olarak gösterilir. Pratik Çıkarım: Tek seferlik indeksleme maliyetiyle, sorgu başına operasyonel yükü minimize edebilirsiniz.

Ütim Aşamasında Doğru Yapmanız Gerekenler

Büyük ölçekte başarılı olmak için şu üç adıma dikkat edilmelidir:

Filtreleme: Çoğu Görsel Çöptür ve Sınıflandırılamaz

Logolar gibi gereksiz görselleri temizlemek için basit kurallar ve multimodal sınıflandırıcılar kullanılmalıdır. Pratik Çıkarım: Veri temizliği (data cleaning) aşaması, model kalitesini doğrudan etkiler.

Betimleme: Bağlam, Model Boyutundan Daha Önemlidir

Görselin öncesindeki ve sonrasındaki metinleri (bağlamı) modele beslemek, betimleme kalitesini ciddi ölçüde artırır. Ayrıca GPT-4o mini gibi küçük modeller bu iş için yeterlidir. Pratik Çıkarım: Prompt mühendisliğinde bağlam her şeydir. Optimize edilmiş küçük modelleri doğru bağlamla kullanmak bütçe dostudur.

Depolama: Ayrı Betimleme Parçaları Satır İçi Depolamayı Alt Eder

Betimlemeleri ana dokümanın içine gömmek (inline) yerine, ayrı birer "chunk" (metin parçası) olarak saklamak maliyeti düşürür. Pratik Çıkarım: Veritabanı tasarımında normalize edilmiş yaklaşımlar, RAG sistemlerinde de maliyet tasarrufu sağlar.

Sonuçlar

Bu yöntemle:

Yanıtlarda görsellerin doğru referanslanma oranı %94-%99 seviyelerine ulaşmıştır.
Sorgu başına maliyet artışı sadece %1 ila %6 düzeyinde kalmıştır.
Cevap kalitesi LLM değerlendiricilerine göre istatistiksel olarak anlamlı şekilde artmıştır. Pratik Çıkarım: Karmaşık mimari problemleri her zaman daha pahalı modellerle değil, akıllıca tasarlanmış veri boru hatlarıyla çözülür.

Orijinal kaynağa buradan ulaşabilirsiniz.