LoopVQ: Döngüsel Transformer'lar İçin 1-Bit Altı KV Önbellek Kuantizasyonu

Döngüsel Transformer Mimarisi ve KV Önbellek Darboğazı#

Döngüsel (Looped) Transformer'lar, dil modellemede standart mimarilere göre parametre açısından oldukça verimli bir alternatif sunar. Aynı katmanları birden fazla döngü adımında tekrar uygulayarak çalışan güncel döngüsel dil modelleri (örneğin Ouro ve Huginn), kendilerinden birkaç kat daha büyük olan döngüsüz modellerin performansını yakalayabilmektedir.

Ancak yazılım ve sistem mühendisliği açısından burada kritik bir bellek problemi ortaya çıkar: Bu mimari parametre belleğini etkili bir şekilde azaltsa da, her döngü adımı kendi anahtar (key) ve değerlerini (value) saklamaya devam eder. Sonuç olarak KV önbelleği (Key-Value Cache) döngü adımlarının sayısıyla doğrusal olarak büyür ve özellikle uzun bağlamlı üretim (production) ortamlarında ana bellek darboğazı haline gelir.

LoopVQ: Döngü Ekseni Boyunca Ortak Vektör Kuantizasyonu#

Araştırmacılar, döngüsel modellerin KV önbelleğinin döngü ekseni boyunca yüksek oranda tekrar (redundancy) içerdiğini ve döngü adımlarının kuantizasyon hassasiyetlerinin birbirinden önemli ölçüde farklılaştığını gözlemlemiştir. Bu bulgulara dayanarak geliştirilen LoopVQ, döngüsel transformer'lar için özel bir KV önbellek vektör kuantizasyonu yöntemidir:

• Birden fazla döngü adımının kanallarını ortaklaşa (jointly) kodlar.
• Kod kitaplarını (codebooks) tam duyarlıklı (full-precision) modelin çıktısıyla eşleşecek şekilde ince ayardan (fine-tuning) geçirir.
• Eleman başına 0.5 bit seviyesinde, Ouro ve Huginn modelleriyle yapılan genel görevlerde, uzun düşünce zinciri (Chain-of-Thought) akıl yürütmelerinde ve uzun bağlamlı bilgi getirme (retrieval) görevlerinde standart LLM'ler için mevcut olan KV önbellek vektör kuantizasyon yöntemlerini geride bırakır.
• Tasarımı mevcut yöntemlere dik (orthogonal) olduğu için TaSQ ile birleştirildiğinde, eleman başına 0.25 bit gibi aşırı düşük bir seviyede bile BF16 doğruluğunun büyük bir kısmını korur.

SGLang Entegrasyonu ve Mühendislik Çıkarımları#

Teorik başarının yanı sıra LoopVQ, yüksek performanslı model sunum çerçevesi SGLang içerisine de entegre edilmiştir. 32K token bağlam uzunluğunda kod çözme (decode) gecikmesini neredeyse yarı yarıya azaltmış ve BF16 temel çizgisine kıyasla zirve sunum iş hacmini (peak serving throughput) 1.4B Ouro modelinde 4.3 katına, 2.6B Ouro modelinde ise 6.1 katına kadar çıkarmıştır.

Geliştiriciler İçin Pratik Çıkarımlar:

• Ölçeklendirme ve Optimizasyon: Büyük dil modellerini üretim ortamına taşırken yalnızca model ağırlıklarını küçültmek yetmez; çalışma zamanı belleğini domine eden KV önbelleğini optimize etmek, aynı donanımda çok daha fazla eşzamanlı kullanıcıya hizmet vermenin anahtarıdır.
• Mimariye Özgü Sıkıştırma: Standart LLM kuantizasyon araçlarını her mimariye doğrudan uygulamak yerine, döngüsel modellerin katman tekrarları gibi yapısal özelliklerini kullanan algoritmalar seçmek, doğruluk kaybı yaşamadan 1-bit altı sıkıştırma oranlarına inmeyi mümkün kılar.
• Serving Altyapısı Seçimi: SGLang gibi modern çıkarım motorları, özel kuantizasyon çekirdeklerini destekleyerek bellek tasarrufunu doğrudan düşük gecikme (latency) ve yüksek iş hacmine (throughput) dönüştürür.