Bu Haftanın En Büyük Çıkarım (Inference) Kazanımlarını Yeni Matematik Değil, KV-Cache Bellek Hileleri Sağladı

28 Ekim 2026 ile 4 Kasım 2026 tarihleri arasındaki LLM çıkarım (inference) ve sunum (serving) gelişmelerini kapsayan bu özette temel örüntü oldukça net: Ciddi işlem hacmi (throughput) veya maliyet kazanımlarının neredeyse tamamı yeni dikkat (attention) matematiğinden değil, KV önbelleği (KV cache) ve uzman ağırlıklarının (expert weights) bellekte nasıl yönetildiğini yeniden düşünmekten geldi. Ayrıca spekülatif kod çözme (speculative decoding), başlangıçta tasarlandığı yoğun (dense) modellerden farklı davranan uzmanların karışımı (MoE) ve hibrit-dikkat modelleri için yeniden ayarlandı. Yazılım geliştiriciler için temel çıkarım şudur: Üretim ortamında darboğaz çoğu zaman algoritmik değil, bellek bant genişliği ve sistem mimarisidir.

🔥 Öne Çıkanlar#

• Rimuru: Elastik Uzman Boşaltma (Elastic Expert Offloading) ile Modern LLM Sunumu için Birleşik Bellek Yönetimi — KV önbelleği ile uzman ağırlığı belleğini tek bir havuzda birleştirerek 19 kata kadar işlem hacmi artışı sağlıyor.
• vLLM üzerinde Mistral Large 4 için 0. Gün Desteği — 1 trilyon parametreli bir model için yayınlandığı gün spekülatif kod çözme, NVFP4 ve KV boşaltma (offload) özellikleri sunuldu.
• HybridSpec: Hibrit GDN-MoE Modelleri için İşlem Hacmi Odaklı Spekülatif Kod Çözme — Hibrit MoE mimarileri için spekülatif kod çözme yeniden optimize edildi.
• Kayan Pencere (Sliding Window) Doğrusal Dikkati Yeniyor, Ancak Sadece Kısa Yanıtlarda — Uzun bağlamlı (long-context) model sunumu için gerçek KV-cache ödünleşimini (tradeoff) nicelleştiriyor.
• "Ağırlık Uzayı Programlama" (Weight Space Programming) Autoresearch'ü RSI Döngüsünden Çıkarıyor — 1 milyon token bağlamlı bir model, 16 GB'lık tüketici sınıfı bir GPU'ya sığdırıldı.

arXiv (cs.LG, cs.DC)#

• HybridSpec: Hibrit GDN-MoE Modelleri için İşlem Hacmi Odaklı Spekülatif Kod Çözme (2026-11-02) — Hibrit Gated-DeltaNet+MoE modellerinde doğrulama maliyeti uzunlukla birlikte yoğun modellere göre çok daha hızlı patladığı için (uzunluk 4'ten 16'ya çıkarken %4-6'ya kıyasla %71 artış), HybridSpec sabit bir doğrulama uzunluğu yerine taslak kabul tahminlerini ve ölçülen hedef gecikmesini kullanarak her adımda bunu dinamik olarak seçer. Ayrıca tekrarlayan durumu token başına değil, tek bir başlatmada yeniden oluşturan blok-paralel GDN çekirdekleri ekler. Standart otoregresif kod çözmeye göre 1.75-1.88 kat, önceki en iyi spekülatif yönteme göre 1.3-1.33 kat artış bildirilmektedir. Pratik Çıkarım: Qwen3.6 sınıfı hibrit-dikkat MoE modelleri sunuyorsanız ve spekülatif kod çözme parametrelerini ayarlıyorsanız doğrudan uygulanabilir bir yaklaşımdır.
• Spekülatif Kod Çözme Seyrek (Sparse) MoE Modellerinde Neden Tahmin Edilenden Daha İyi Çalışır? (2026-10-28) — 30B ile 1T parametre arasındaki 10 seyrek MoE modeli üzerinde yapılan ampirik bir çalışma, ince taneli MoE'nin "spekülatif kod çözme hızlanması orta yığın (batch) boyutlarında zirve yapar" kuralını yıktığını ortaya koyuyor. Bunun yerine hızlanma, taslak tokenlar arasındaki uzman yönlendirme örtüşmesi, H100 bellek bant genişliği ve L2 önbellek yeniden kullanımı etkileri nedeniyle düşük yığın boyutlarında zirve yapıyor. Yazarların maksimum entropi modeli, benzersiz uzman sayılarını %4 hata payı içinde tahmin edebiliyor. Pratik Çıkarım: Üretim ortamındaki hızlanma eğriniz yoğun model literatürüyle uyuşmuyorsa, kapasite planlaması ve modelleme için bu metrikleri kullanabilirsiniz.
• PDScope: Bellek Sınırlı MoE Çıkarımı için Prefill-Decode Tahterevallisini Kırmak (2026-10-29) — CPU'ya boşaltılmış (CPU-offloaded) MoE çıkarımı için PDScope, aşamaya özgü uzman aktivasyon tahmini ve derlenmiş, sıfır kopyalı (zero-copy) asenkron yürütme hattı kullanarak prefill (hesaplama sınırlı, agresif uzman ön-getirme ister) ile decode (G/Ç sınırlı, tutucu PCIe transferi ister) aşamalarını birbirinden ayırır. Mevcut sistemlere göre 2.5-10.3 kat prefill ve 2.1-6.1 kat decode işlem hacmi kazanımı sağlar. Pratik Çıkarım: Her uzmanı GPU'da tutmadan büyük MoE modellerini çalıştırmak için somut bir sistem reçetesidir.
• Rimuru: Elastik Uzman Boşaltma ile Modern LLM Sunumu için Birleşik Bellek Yönetimi (2026-10-29) — vLLM üzerine inşa edilen Rimuru, model ağırlıkları/uzmanlar ile KV önbelleği arasındaki sabit bellek sınırlarını paylaşımlı bir sayfa havuzu (shared page pool) ile değiştirir. Pratik Çıkarım: Statik bellek tahsisi yerine birleşik bellek havuzları kullanmak, modern LLM sunum altyapılarında donanım verimliliğini katlamaktadır.

---

Bu konuyu derinlemesine öğrenmek isterseniz: Ölçeklendirme ve Optimizasyon modülüne göz atın.