DeepSeek-V4.1-Flash: KV Cache Sıkıştırmasında Sınırları Zorlamak

Darboğaz: Ajan İş Yükleri ve KV Cache Maliyeti

Uzun ufuklu otonom ajanların (long-horizon agents) yaygınlaşması, modern yapay zekâ sistemlerindeki iş yüklerini belirgin biçimde girdi-yoğun (input-heavy) hale getirdi. Uzun bağlam pencerelerinde hesaplama maliyetleri geçmiş çalışmalara kıyasla azaltılmış olsa da, prefill aşaması hâlâ yüksek işlem gücü gerektirmektedir. Bununla birlikte, hızla büyüyen KV cache (Anahtar-Değer önbelleği) boyutları; GPU bellek (HBM) ve SSD kapasitelerini, ayrıca veri aktarım bant genişliğini ciddi ölçüde zorlamaktadır. Bu hesaplama, depolama ve bant genişliği gereksinimleri, kurumsal dağıtım maliyetlerini düşürmenin önündeki en kritik darboğazı oluşturmaktadır.

DeepSeek-V4.1-Flash Mimarisi ve Temel Yenilikler

Bu zorlukların üstesinden gelmek amacıyla geliştirilen DeepSeek-V4.1-Flash, 552 milyar omurga parametresine sahip çok modlu bir Uzmanlar Karışımı (MoE) modelidir ve 1 milyon tokene kadar bağlam uzunluğunu desteklemektedir. Modelin öne çıkan mimari çözümleri şunlardır:

Causal Encoder-Decoder (CED) Mimarisi: Model, decode aşamasında token başına 16 milyar parametre aktive ederken, prefill esnasında yalnızca 8 milyar parametre çalıştırmaktadır. Bu asimetrik yaklaşım, girdi ağırlıklı ajan iş yüklerinde hesaplama maliyetini ve gecikmeyi belirgin biçimde azaltmaktadır.
CSA2 ve FP4 ile Global KV Cache Sıkıştırması: Compressed Sparse Attention 2 (CSA2) mimarisiyle katmanlar arası KV önbellek yeniden kullanımı sağlanmış ve FP4 formatında KV önbellekleme entegre edilmiştir. Bu yenilikler, HBM üzerinde tutulan global KV önbellek ayak izini token başına 890 bayta (DeepSeek-V4-Flash'ın yaklaşık 1/4'üne) düşürmüştür.
SWA Bounded Replay ile Kalıcı Önbellek Tasarrufu: Özel geliştirilen bu dağıtım optimizasyonu sayesinde, SSD veya ana bellekte (host memory) saklanan kalıcı KV önbellek ayak izi DeepSeek-V4-Flash'ın yaklaşık 1/8'i seviyesine indirilmiştir.
Gelişmiş Mimari ve 45T Token Ön Eğitimi: Radikal biçimde küçülen KV cache boyutuna rağmen temel modelden çok daha güçlü performans sunan model; sadeleştirilmiş mimari eklentileriyle 45 trilyonluk çok modlu veri kümesinde önceden eğitilmiş ve kapsamlı post-training süreçlerinden geçirilmiştir.

Yazılım Geliştiriciler İçin Pratik Çıkarımlar

Daha Düşük Altyapı Maliyeti ve Yüksek Eşzamanlılık: HBM ve SSD tüketiminin 4 ila 8 kat azalması, üretim ortamında aynı GPU sunucusunda eşzamanlı olarak çok daha fazla kullanıcıya ve ajana (high concurrency) hizmet verilmesini sağlar. Bu da çıkarım (inference) maliyetlerini dramatik ölçüde düşürür.
Ajan Sistemlerinde Uzun Bağlamın Demokratikleşmesi: 1 milyon tokenlik devasa bağlam penceresi ve prefill aşamasındaki 8B aktif parametre verimliliği, geniş kod tabanlarını veya kurumsal bilgi tabanlarını işleyen otonom ajanların gecikme (TTFT) ve maliyet engellerine takılmadan çalışmasına imkân tanır.
Açık Ağırlıklarla Yerel ve Özel Bulut Dağıtımı: Model kontrol noktalarının Hugging Face üzerinde erişilebilir olması, geliştiricilerin tescilli API bağımlılıklarından kurtularak kendi altyapılarında yüksek verimli ve güvenli model servisleri kurabilmelerini sağlar.

Orijinal makaleye buradan ulaşabilirsiniz.

Bu konuyu derinlemesine öğrenmek isterseniz: Ölçeklendirme ve Optimizasyon modülüne göz atın.