LowRAM: Test Zamanında Birleştirilebilir KV Önbellek Sıkıştırması İçin Düşük Dereceli Anahtarlar ve Amorti Edilmiş Değerler

Bellek Darboğazı ve KV Önbellek Sorunu#

Otoregresif kod çözme (autoregressive decoding) süreçleri, bağlam uzunluğuyla birlikte doğrusal olarak büyüyen KV önbelleğine (Key-Value cache) dayanır. Bu bellek ayak izi, üretim ortamlarında yığın boyutunu (batch size) ve toplam işlem hacmini (throughput) doğrudan sınırlar. Mevcut eğitim sonrası (post-training) sıkıştırma yöntemleri genellikle tokenlar, katmanlar ve özellik boyutları arasındaki fazlalıkları kullanır ya da sayısal duyarlılığı (quantisation) düşürür. Ancak LowRAM araştırması, bu yaklaşımları tamamlayıcı yeni bir eksen ortaya koymaktadır: Her bir dikkat başlığı (attention head) içinde, değerler (values) büyük ölçüde karşılık gelen anahtarlardan (keys) tahmin edilebilir.

Değer Önbelleği Amortismanı ve Asimetrik Sıkıştırma#

Araştırmacılar bu yapısal ilişkiyi değer önbelleği amortismanı (value cache amortisation) yöntemiyle değerlendirir. Bu yaklaşımda, test zamanında (test-time) her dikkat başlığı için hafif bir tahminleyici (predictor) eğitilir ve yalnızca en kötü yeniden yapılandırılan tokenlar için kalıntılar (residuals) saklanır. Böylece neredeyse kayıpsız 4 kat değer sıkıştırması elde edilir. Sistemin çalışma mekanizması şu temel bileşenlere dayanır:

• Esnek Tahminleyici Başlatma: Tahminleyici, ön doldurma (prefill) ek yükünü önemli ölçüde azaltmak için meta-öğrenme (meta-learning) ile başlatılabilir veya çoklu sorgu çıkarımı (multi-query inference) gibi tek seferlik maliyete izin veren senaryolarda sıfırdan uyarlanabilir.
• Asimetrik LowRAM Hattı: Değer amortismanı, katmanlar arası düşük dereceli anahtar sıkıştırması (cross-layer low-rank key compression) ile eşleştirilerek üç farklı model ailesinde neredeyse kayıpsız çalışan asimetrik bir sıkıştırma hattı oluşturur.
• Seçici Yeniden Yapılandırma: Her kod çözme adımında yalnızca seçili bir KV çifti alt kümesi yeniden yapılandırılarak ek yük minimumda tutulur ve 4 kat sıkıştırmada 5 kata kadar daha yüksek zirve kod çözme hızı (peak decode throughput) sağlanır.
• Birleştirilebilirlik (Composability): LowRAM, niceleme (quantisation) ve tahliye (eviction) teknikleriyle birleştirildiğinde uzun bağlamlarda temel performansın %94,5'ini koruyarak 26,9 kat sıkıştırma oranına ulaşır.

Yazılım Geliştirme ve Mühendislik Çıkarımları#

Büyük Dil Modellerini (LLM) üretim ortamında ölçeklendirirken, anahtar (Key) ve değer (Value) matrislerini aynı yapısal özelliklere sahipmiş gibi ele almak verimsizliğe yol açar. Yazılım mühendisleri ve MLOps ekipleri için bu makaleden çıkarılabilecek pratik dersler şunlardır:

• Asimetrik Optimizasyon Tasarımı: Çıkarım sunucularında Ölçeklendirme ve Optimizasyon çalışmaları yaparken, Key ve Value önbelleklerine farklı sıkıştırma stratejileri uygulamak bellek bant genişliği darboğazlarını aşmayı kolaylaştırır.
• Çoklu Sorgu Senaryolarında Maliyet Amortismanı: Aynı uzun sistem isteminin veya doküman bağlamının binlerce sorguda paylaşıldığı mimarilerde, test zamanında hafif bir tahminleyici eğitmek ilk maliyeti hızla amorti eder ve donanım maliyetlerini düşürür.
• Katmanlı Sıkıştırma Mimarisi: Tek bir tekniğe bağlı kalmak yerine, düşük dereceli matris yaklaşımlarını mevcut niceleme (quantisation) ve token tahliye (eviction) politikalarıyla birleştirmek, doğruluktan ödün vermeden aynı GPU üzerinde çok daha yüksek eşzamanlı kullanıcı (batch size) kapasitesi sunar.

Sonuç olarak, anahtarları ve değerleri yapısal olarak birbirinden farklı bileşenler şeklinde ele almak; verimli, agresif ve mevcut yöntemlerle birleştirilebilir bir KV önbellek sıkıştırmasını mümkün kılmaktadır.