İki Bitte N-Gram Bellekleri: Büyük Dil Modellerinde Arama Tablolarının Kuantizasyonu

Koşullu Bellek ve Arama Tablosu Darboğazı#

Koşullu bellek (conditional memory) mimarileri, seçici arama (selective lookup) mekanizmaları sayesinde büyük dil modellerinin (LLM) kapasitesini işlem maliyetini artırmadan genişletir. Ancak her olası girdi için tüm gömme (embedding) tablosunun bellekte hazır tutulması gerekir. Bu durum, özellikle yüksek kapasiteli modellerin üretim ortamına alınmasında ciddi bir VRAM darboğazı yaratır.

Conditional Program (CP) Mimarisi ve Temel Bileşenleri#

Bu bellek sorununu aşmak için geliştirilen Conditional Program (CP), tabloyu tamamen açık tutmak yerine yalnızca girdinin talep ettiği satırları çalışma anında yeniden oluşturan sıkıştırılmış bir temsil sunar. CP mimarisinin temel yapı taşları şunlardır:

• Kısa Kod ve Yerel Ölçek: Tablodaki her satır, kısa bir kod ve yerel bir ölçek (local scale) değeri ile kompakt biçimde temsil edilir.
• Paylaşımlı Yeniden Oluşturma Programı: Tüm tablo genelinde ortak kullanılan bir yeniden oluşturma programı (reconstruction program) ile bellek ek yükü minimize edilir.
• Gaussian Trellis ve Norm Restorasyonu: Temsil katmanı; bir Gaussian kafesi (trellis), norm restorasyonu ve birbirinden bağımsız olarak çözülebilen (independently decodable) satır kayıtları ile somutlaştırılır.

Performans Analizi ve DeepSeek Üzerindeki Kazanımlar#

Üç farklı eğitilmiş n-gram bellek ailesi üzerinde yapılan analizler, sıkıştırma tasarımının arkasındaki istatistiksel dengeyi ve performans kazanımlarını ortaya koymaktadır:

• Çıktı Kalitesi (KL Iraksaması): CP'nin iki bitlik (2-bit) kodu, standart 2-bit en yakına yuvarlama (round-to-nearest) yöntemine kıyasla çıktı KL ıraksamasını (output KL) %41 ile %63 oranında düşürerek model doğruluğunu korur.
• İstatistiksel Uyum ve Üstünlük: Satırlar arasındaki öğrenilmiş ilişkiler ile Gauss benzeri koordinat istatistikleri bir arada bulunur. Eşit depolama bütçelerinde paylaşımlı kafes yapısı, test edilen özel kod kitaplarını (fitted codebooks) ve düşük dereceli artık (low-rank residual) varyantlarını geride bırakır.
• GPU Bellek Tasarrufu: DeepSeek modeli özelinde tablo depolama alanını 203 GB'tan 51 GB'a düşürür ve tablo doğrudan GPU üzerinde tutulduğunda daha büyük iş yükleri için geniş bir alan açar.

Yazılım Geliştirme ve Mühendislik Çıkarımları#

Üretim ortamında LLM servis eden yazılım ve MLOps mühendisleri için bu bulgular doğrudan uygulanabilir pratik dersler içerir:

• Bağımsız Çözülebilirlik ile Düşük Gecikme: Satır kayıtlarının birbirinden bağımsız çözülebilmesi, yalnızca ilgili girdinin ihtiyaç duyduğu satırların GPU çekirdeklerinde paralel ve hızlıca açılmasını sağlar; böylece推理 (inference) gecikmesi artmaz.
• Donanım Maliyeti ve Batch Size Optimizasyonu: 203 GB'lık bir tablonun 51 GB'a inmesi, CPU-GPU arası yavaş bellek transferlerini ortadan kaldırır. Kazanılan 152 GB'lık VRAM alanı, doğrudan KV-cache kapasitesini veya batch size değerini büyütmek için kullanılarak sistemin saniyedeki token üretim hızını (throughput) katlayabilir.
• Kuantizasyon Seçimi: Basit yuvarlama (round-to-nearest) tabanlı agresif 2-bit sıkıştırmalar model kalitesini bozarken, veri dağılımını dikkate alan kafes (trellis) tabanlı yaklaşımlar doğruluk-bellek ödünleşiminde çok daha güvenli bir üretim standardı sunar.

Orijinal makaleye buradan ulaşabilirsiniz.

---

Bu konuyu derinlemesine öğrenmek isterseniz: Ölçeklendirme ve Optimizasyon modülüne göz atın.