QuantMLA: Düşük Bitli MLA KV Önbellekleme için Fonksiyon Uyumlu Çift Yollu Kuantizasyon

Giriş ve Problem Analizi#

Multi-Head Latent Attention (MLA), içeriği (content) ve ayrık konum kodlamasını (RoPE) iki ayrı yolda kompakt önbelleklerde tutarak dikkat mekanizmasını hem ifade gücü yüksek hem de verimli hale getirir. Buna rağmen bağlam uzunluğu ve yığın boyutu (batch size) arttıkça KV önbelleğinin bellek tüketimi doğrusal olarak büyümeye devam eder. Bu çalışmada araştırmacılar, MLA'nın çift yollu kuantizasyon hatalarını modelleyen sistematik bir çerçeve kurmuş, dikkat çıktısı bozulmasındaki farklı etkileri analiz etmiş ve RoPE yolundaki kuantizasyon hatalarının belirgin şekilde büyüme nedenini açıklamıştır.

QuantMLA Mimarisi ve Temel Bileşenleri#

Bu teorik analizin ışığında geliştirilen QuantMLA, düşük bitli çift yollu kuantizasyon için fonksiyon uyumlu bir çerçeve sunar:

• Çevrimdışı Dönüşüm Füzyonu: Tam duyarlıklı hesaplamayı koruyan yola özel dönüşüm uzayları türetilmiştir. Bu dönüşümler çevrimdışı olarak model parametrelerine kaynaştırılarak (offline fusion) çalışma anındaki dönüşüm işlem yükü tamamen ortadan kaldırılmıştır.
• Fonksiyon Uyumlu Optimizasyon: İçerik yolu için dikkat-çıktısı yeniden oluşturma hedefi eşleşme ve toplama hatalarını yakalar. RoPE yolu için ise konumsal QK yeniden oluşturma hedefi dikkat logitlerini korur ve çıktı bozulmasına teorik bir üst sınır getirir.
• Agresif Düşük Bit Sıkıştırması: Dört farklı MLA model ailesi üzerinde yapılan testlerde QuantMLA, içerik ve RoPE önbelleklerinin her ikisini de INT4 seviyesinde minimum doğruluk kaybıyla ortaklaşa saklamayı başarmıştır. İçerik önbelleği INT2'ye indirilip RoPE anahtar önbelleği INT4'te tutulduğunda dahi zorlu akıl yürütme ve kodlama kıyaslamalarında rekabetçi başarım korunmuştur.
• Yerel Dikkat Çekirdeği: Paket açma (unpacking) ve ters kuantizasyon (dequantization) adımlarını doğrudan dikkat hesabına entegre eden yerel bir düşük bitli MLA kernel'ı geliştirilmiştir.

Performans Kazanımları ve Pratik Çıkarımlar#

Fiziksel önbellek yerleşimi, 128K bağlam uzunluğunda 3.59 kat sıkıştırma sağlar. Yüksek önbellek baskısı altındaki servis iş yüklerinde ise BF16 taban çizgisine kıyasla 5.168 kat daha yüksek toplam iş çıktısı (throughput) elde edilmektedir.

Yazılım geliştiriciler ve LLM altyapı mühendisleri için pratik çıkarımlar:

• Donanım ve Bellek Tasarrufu: 128K gibi uzun bağlamlı modellerin üretim ortamlarında GPU VRAM darboğazı aşılır ve aynı donanımda çok daha fazla eşzamanlı istek işlenebilir.
• Sıfır Çıkarım Ek Yükü: Matematiksel dönüşümlerin model ağırlıklarına önceden kaynaştırılması, ek gecikme (latency) yaratmadan kuantizasyon avantajı sağlar.
• Kernel Entegrasyonu: Bellek bant genişliği darboğazını önlemek için veri tipi dönüşümlerinin GPU hesaplama döngüsüne doğrudan gömülmesi modern model sunumunda kritik bir mühendislik standardıdır.

---

Bu konuyu derinlemesine öğrenmek isterseniz: Ölçeklendirme ve Optimizasyon modülüne göz atın.