Postgres'ten %81 Daha Hızlı Sorgu Planları Üretmek İçin 4B Model Eğitimi

Pekiştirmeli Öğrenme ile Sorgu Optimizasyonu

Modern veritabanlarında sorgu optimizasyonu, pekiştirmeli öğrenme (RL) ilke güncellemeleriyle köklü bir dönüşüm geçiriyor. Geliştirilen mimaride, tek bir sorgu için dört bağımsız RL adımı (rollout) başlatılır. 4B parametreli Qwen modeli, her adımda aday bir yürütme stratejisi üreterek bunu varsayılan planla karşılaştırması için Postgres'e iletir. Postgres'ten alınan ölçümlere göre her adıma skaler ödüller atanır ve bu ödüller model ağırlıklarını daha hızlı planlar üretecek yönde günceller.

Örnek bir IMDb sorgusu üzerindeki pekiştirmeli öğrenme adımları ve varsayılan 118 ms yürütme süresine kıyasla atanan ödüller:

/*+ HashJoin(mc cn) */ -> 96 ms (+0.21 ödül)
/*+ Leading((cn mc) t) */ -> 74 ms (+0.47 ödül)
/*+ NestLoop(t mc) */ -> 163 ms (-0.32 ceza)
/*+ IndexScan(t) */ -> 131 ms (-0.10 ceza)

Sorgu Optimize Ediciler Gerçekten Ne Kadar İyi?

Leis ve ekibinin 2015'te sorduğu "Sorgu optimize edicileri gerçekte ne kadar başarılı?" sorusu, on yıl sonra yinelendiğinde optimizasyon motorlarının hâlâ ciddi eksiklikler barındırdığı görüldü. Veritabanının kendi tablolarındaki verileri kusursuz tanıması beklense de, özellikle tablo birleştirme sıralaması (join ordering) problemi NP-hard karmaşıklığındadır.

Buna karşın, bir sorgu planının başarısını doğrulamak oldukça basittir: Hızlı çalışan plan iyi, yavaş çalışan ise kötüdür. Tek bir optimizasyon ekseninin (çalışma süresi) bulunması, doğrulanabilir çıktılarda uzmanlaşan dil modelleri için bu problemi pekiştirmeli öğrenmeye son derece elverişli kılar. Gözetimli ince ayar (SFT) ve ajan tabanlı RL ile eğitilen 4B açık kaynaklı bir modelin Postgres'in varsayılan planlarını geride bırakabileceği net biçimde kanıtlanmıştır.

Deneyin Öne Çıkan Sonuçları

Araştırma sürecinde elde edilen temel bulgular 5 ana maddede özetlenmektedir:

Başlangıçta 99'u için plan üretemeyen 4B model ile 113 birleştirme ağırlıklı sorguda %44,7 gecikme azalması elde edildi.
Eşzamanlı container'lar arasında Linux sayfa önbelleği (page cache) çekişme gürültüsünü en aza indiren bir Postgres ölçüm altyapısı kuruldu.
Doğası gereği gürültülü olan bir ortamda RL adımlarını puanlamak için özel bir GRPO varyantı tasarlandı.
RL süreci iki makineye dağıtıldı: vLLM ve eğitici kiralanan 2x H100 GPU üzerinde, dört Postgres container'ı ise yerel masaüstünde çalıştırıldı.
Yaklaşık 500 GPT-6 Astra ajan yörüngesi üzerinden off-policy damıtma (distillation) gerçekleştirildi.

Bir Optimize Edicinin İçi ve Pratik Çıkarımlar

IMDb veri setindeki title (~1M satır) ve movie_companies (~2M satır) gibi tablolar arasındaki karmaşık ilişkilerde geleneksel istatistiksel modeller yanılgıya düşebilir. Yazılım mühendisleri için bu çalışma, küçük dil modellerinin veritabanlarına harici bir akıl yürütme katmanı olarak entegre edilmesinin üretim sistemlerindeki gecikmeleri ve donanım maliyetlerini düşürmede devrimsel bir potansiyel taşıdığını göstermektedir.

[Orijinal kaynağa buradan ulaşabilirsiniz.](https://rohanbansal.com/qorl)

Bu konuyu derinlemesine öğrenmek isterseniz: Ölçeklendirme ve Optimizasyon modülüne göz atın.