KV Önbelleği (KV Cache) Darboğazı: 2026 Attention Mimarileri Rehberi

Büyük dil modellerinde (LLM) 2026 yılı itibarıyla mimari kararları belirleyen ana unsur artık başarım skorları değil, KV Önbelleği (KV Cache) maliyetidir. Otoregresif üretim adımlarında geçmiş token'ların Key (K) ve Value (V) vektörlerini saklamak ciddi bir bellek yükü yaratır. Bu durum, çıkarım (inference) sürecini işlemci gücünden (FLOPs) ziyade bellek bant genişliğine (HBM) bağımlı kılar. Bağlam uzunluğu arttıkça doğrusal büyüyen bu yükü hafifletmek için geliştirilen 5 temel attention mimarisini inceleyelim.

Öne Çıkan 5 Attention Yaklaşımı

1. Daha Az KV Başlığı (MQA → GQA): Multi-Query Attention (MQA) tüm sorgu başlıklarını tek bir KV başlığına indirger. Grouped-Query Attention (GQA) ise sorgu başlıklarını gruplayarak hem kaliteden ödün vermez hem de bellek tüketimini azaltır. Günümüzde açık kaynaklı modellerde pratik varsayılan tercihtir.
2. Önbelleği Sıkıştırmak (Multi-head Latent Attention - MLA): MLA, her başlık için ayrı K/V saklamak yerine düşük rütbeli (low-rank) latent bir vektör saklar ve dikkat anında bunları yeniden oluşturur. Özellikle uzun bağlamlı modellerde bellek ayak izini küçültmede en etkili yöntemdir.
3. Büyüyen Önbelleği Ortadan Kaldırmak (Lineer Attention & SSM'ler): Mamba tarzı SSM'ler ve lineer attention yaklaşımları sabit boyutlu durum (state) matrisleri tutar. Bellek karmaşıklığı (O(1)) seviyesindedir; ancak hassas geçmiş detayları hatırlama yeteneğinde kayıplar yaşanabilir.
4. 2026 Konsensüsü (Hibrit ve Katman Katman Geçişli Attention): Tam attention katmanları ile lineer/SSM katmanlarının ardışık dizilmesiyle kurulur. Tam attention hassas hatırlamayı sağlarken, lineer katmanlar bellek yükünü hafifletir.
5. Pencereyi Sınırlamak (Sliding-Window Attention + Attention Sinks): Dikkat penceresini son birkaç bin token ile sınırlandırır. Başlangıçtaki kritik token'ları koruyan Attention Sinks tekniğiyle desteklenerek uzun metin üretimlerinde kararlılık sağlanır.

Bilinmesi Gereken İki Ek Çarpan

• Kuantize KV Önbelleği: Önbelleği FP16 yerine FP8 veya INT8 formatında saklayarak model mimarisini değiştirmeden bellek ihtiyacını yarı yarıya düşürmek.
• Paged KV Memory (Sayfalanmış Bellek): vLLM gibi sistemlerde kullanılan bu teknik, önbelleği sabit sayfalar halinde yöneterek parçalanmayı engeller ve eşzamanlı istek kapasitesini artırır.

Nasıl Seçim Yapılmalı?

• Genel amaçlı modeller: Güvenli ve performanslı bir standart olan GQA seçilmelidir.
• Uzun bağlamlı altyapılar: Bellek verimliliği yüksek MLA tercih edilmelidir.
• Kısa bağlam ve uç cihaz uygulamaları: Sliding Window + GQA + Kuantizasyon mimarisi kurulmalıdır.
• Uzun bağlam ve kabul edilebilir hatırlama kaybı: Hibrit katmanlı yapılar değerlendirilmelidir.

Geliştiriciler İçin Pratik Çıkarımlar

1. Mimarileri ve Sunucu Altyapısını Birlikte Tasarlayın: Yazılım geliştiriciler için yalnızca model mimarisi değil, sunucu çalıştırma ortamının (runtime) belleği nasıl sayfalandırdığı ve kuantize ettiği de kritiktir.
2. Donanım Yatırımını Doğru Yönetin: Donanım seçimi ve altyapı optimizasyonunda ham FLOPs değerine değil, HBM bellek bant genişliğine odaklanın.

Orijinal makaleye buradan ulaşabilirsiniz.