Pg_vectorsearch: pgvector'ın IVFFlat ve HNSW İndekslerinden Daha Hızlı Bir Vektör Arama Mimarisi

Giriş ve Genel Durum#

Timescale tarafından geliştirilen pg_vectorsearch, PostgreSQL üzerinde yüksek performanslı yaklaşık en yakın komşu (ANN) aramaları gerçekleştirmek üzere tasarlanmış yerel bir veritabanı eklentisidir. Proje şu anda alfa (alpha) aşamasındadır; üretim ortamlarından ziyade test ve kıyaslama amaçlı kullanım için tasarlanmıştır. Ön sürümler arasında doğrudan yükseltme garantisi bulunmadığından, geliştiricilerin eklentiyi ve indeksleri gerektiğinde silip yeniden oluşturmayı planlaması önerilir. Bilinen sorunlar için değişiklik günlüğü (changelog) incelenebilir.

Temel Özellikler#

pg_vectorsearch, büyük ölçekli vektör iş yükleri için şu temel kabiliyetleri sunmaktadır:

PRISM indeksi (100M+ vektör): Hiyerarşik yönlendirmeye sahip, IVF yaklaşımını temel alan ve 100 milyondan fazla vektörü destekleyen indeks yapısı.
RaBitQ kuantizasyonu: İki aşamalı arama sürecini teorik hata sınırlarıyla optimize eden kuantizasyon tekniği.
SIMD optimizasyonlu mesafe hesaplama: AVX2, AVX512 ve ARM NEON komut setleriyle donanım seviyesinde hızlandırılmış mesafe hesaplamaları.
Dinamik güncellemeler: prism_rebalance aracı ile posting listesi bölünmelerini yöneterek ekleme (insert), güncelleme (update) ve silme (delete) desteği.
pgvector uyumluluğu: Mevcut şemalardaki vector ve halfvec sütunlarını hiçbir değişiklik yapmadan doğrudan indeksleyebilme.

PRISM İndeks Mimarisi#

PRISM (Partitioned Routing Index for Similarity Matching), kavramsal olarak pgvector'ın IVFFlat indeksine benzeyen fakat modern kuantizasyon, yönlendirme ve bölümleme teknikleriyle sıfırdan geliştirilmiş C tabanlı bir indeks erişim yöntemidir.

Sorgu yürütme ve indeks inşasında hem IVFFlat hem de grafik tabanlı HNSW indekslerinden belirgin şekilde daha hızlıdır. 100 milyon vektörlük bir veri kümesinde, HNSW ile eşdeğer doğruluk/yakalama (recall) oranını dörtte bir bellek (RAM) kullanarak sunabilmesi sistem maliyetleri açısından kritik bir avantajdır. PRISM, vektörleri hiyerarşik bir küme merkezi ağacı (centroid tree) ile bölümler ve bu ağacı PostgreSQL tampon önbelleğinde (buffer cache) sıcak tutar. RaBitQ ile sıkıştırılan vektörler SIMD dostu sayfa düzeninde saklanır; teorik hata sınırları sayesinde en yakın komşu olamayacak adaylar erkenden elenir ve heap üzerinden tam hassasiyetli yeniden sıralama ihtiyacı en aza iner.

Sorgu Akışı (Query Flow)#

PRISM üzerindeki arama süreci dört aşamada gerçekleşir:

En yakın kümeleri belirlemek için tampon önbellekteki küme merkezi ağacını tarama (Traverse centroid tree).
Aday vektörler için posting listelerini tarama (tampon önbellek ve asenkron G/Ç desteğiyle).
RaBitQ iki aşamalı filtreleme: mesafe tahmini → hata sınırı denetimi → ön eleme.
Tablo veri alanından (heap) tam hassasiyetli (full-precision) yeniden sıralama (reranking).

Yazılım Geliştirme Açısından Pratik Çıkarımlar#

Vektör tabanlı yapay zeka ve RAG sistemlerinde en büyük darboğaz bellek maliyetidir. PRISM, algoritmik hata sınırları ile donanım düzeyinde SIMD optimizasyonlarının birleştiğinde bellek tüketimini nasıl radikal biçimde düşürebileceğini somutlaştırmaktadır. Mevcut pgvector tablolarıyla tak-çalıştır uyumlu olması geliştiricilere sıfır şema değişikliğiyle geçiş şansı sunarken, projenin henüz alfa aşamasında olması nedeniyle şimdilik canlı sistemler yerine deneysel performans testleri ve Ar-Ge çalışmalarında değerlendirilmesi tavsiye edilir.

Bu konuyu derinlemesine öğrenmek isterseniz: Ölçeklendirme ve Optimizasyon modülüne göz atın.