---
title: "LoopVQ: Döngüsel Transformer'lar İçin 1-Bit Altı KV Önbellek Kuantizasyonu"
url: https://blog.edumints.com/loopvq-dongusel-transformer-lar-icin-1-bit-alti-kv-onbellek
category: "LLM"
date: 2026-11-05T09:04:47.147Z
publisher: Edumints Blog
lang: tr-TR
source_name: "Hugging Face Papers"
source_url: https://huggingface.co/papers/2611.05304
---

# LoopVQ: Döngüsel Transformer'lar İçin 1-Bit Altı KV Önbellek Kuantizasyonu

## Döngüsel Transformer Mimarisi ve KV Önbellek Darboğazı

**Döngüsel (Looped) Transformer'lar**, dil modellemede standart mimarilere göre parametre açısından oldukça verimli bir alternatif sunar. Aynı katmanları birden fazla döngü adımında tekrar uygulayarak çalışan güncel döngüsel dil modelleri (örneğin **Ouro** ve **Huginn**), kendilerinden birkaç kat daha büyük olan döngüsüz modellerin performansını yakalayabilmektedir. 

Ancak yazılım ve sistem mühendisliği açısından burada kritik bir bellek problemi ortaya çıkar: Bu mimari parametre belleğini etkili bir şekilde azaltsa da, her döngü adımı kendi anahtar (key) ve değerlerini (value) saklamaya devam eder. Sonuç olarak **KV önbelleği (Key-Value Cache)** döngü adımlarının sayısıyla doğrusal olarak büyür ve özellikle uzun bağlamlı üretim (production) ortamlarında ana bellek darboğazı haline gelir.

## LoopVQ: Döngü Ekseni Boyunca Ortak Vektör Kuantizasyonu

Araştırmacılar, döngüsel modellerin KV önbelleğinin döngü ekseni boyunca yüksek oranda tekrar (redundancy) içerdiğini ve döngü adımlarının kuantizasyon hassasiyetlerinin birbirinden önemli ölçüde farklılaştığını gözlemlemiştir. Bu bulgulara dayanarak geliştirilen **LoopVQ**, döngüsel transformer'lar için özel bir KV önbellek vektör kuantizasyonu yöntemidir:

- Birden fazla döngü adımının kanallarını ortaklaşa (jointly) kodlar.
- Kod kitaplarını (codebooks) tam duyarlıklı (full-precision) modelin çıktısıyla eşleşecek şekilde ince ayardan (fine-tuning) geçirir.
- Eleman başına **0.5 bit** seviyesinde, Ouro ve Huginn modelleriyle yapılan genel görevlerde, uzun düşünce zinciri (Chain-of-Thought) akıl yürütmelerinde ve uzun bağlamlı bilgi getirme (retrieval) görevlerinde standart LLM'ler için mevcut olan KV önbellek vektör kuantizasyon yöntemlerini geride bırakır.
- Tasarımı mevcut yöntemlere dik (orthogonal) olduğu için **TaSQ** ile birleştirildiğinde, eleman başına **0.25 bit** gibi aşırı düşük bir seviyede bile **BF16** doğruluğunun büyük bir kısmını korur.

## SGLang Entegrasyonu ve Mühendislik Çıkarımları

Teorik başarının yanı sıra **LoopVQ**, yüksek performanslı model sunum çerçevesi **SGLang** içerisine de entegre edilmiştir. **32K token** bağlam uzunluğunda kod çözme (decode) gecikmesini neredeyse yarı yarıya azaltmış ve BF16 temel çizgisine kıyasla zirve sunum iş hacmini (peak serving throughput) **1.4B Ouro** modelinde **4.3 katına**, **2.6B Ouro** modelinde ise **6.1 katına** kadar çıkarmıştır.

**Geliştiriciler İçin Pratik Çıkarımlar:**
- **Ölçeklendirme ve Optimizasyon:** Büyük dil modellerini üretim ortamına taşırken yalnızca model ağırlıklarını küçültmek yetmez; çalışma zamanı belleğini domine eden KV önbelleğini optimize etmek, aynı donanımda çok daha fazla eşzamanlı kullanıcıya hizmet vermenin anahtarıdır.
- **Mimariye Özgü Sıkıştırma:** Standart LLM kuantizasyon araçlarını her mimariye doğrudan uygulamak yerine, döngüsel modellerin katman tekrarları gibi yapısal özelliklerini kullanan algoritmalar seçmek, doğruluk kaybı yaşamadan 1-bit altı sıkıştırma oranlarına inmeyi mümkün kılar.
- **Serving Altyapısı Seçimi:** SGLang gibi modern çıkarım motorları, özel kuantizasyon çekirdeklerini destekleyerek bellek tasarrufunu doğrudan düşük gecikme (latency) ve yüksek iş hacmine (throughput) dönüştürür.

[](https://huggingface.co/papers/2611.05304)

---

**Kaynak:** Hugging Face Papers (https://huggingface.co/papers/2611.05304)
**Yayıncı:** [Edumints Blog](https://blog.edumints.com) · Alıntılarken bu URL'ye bağlantı verin: https://blog.edumints.com/loopvq-dongusel-transformer-lar-icin-1-bit-alti-kv-onbellek