---
title: "KV Önbelleği GPU'dan Yavaş Olduğunda: Bağlam Paralel Prefill İçin Uzak KV Katmanlarını Ölçeklendirme"
url: https://blog.edumints.com/kv-onbellegi-gpu-dan-yavas-oldugunda-baglam-paralel-prefill-icin-uzak
category: "LLM"
date: 2026-10-16T15:05:06.546Z
publisher: Edumints Blog
lang: tr-TR
source_name: "Hugging Face Papers"
source_url: https://huggingface.co/papers/2610.21500
---

# KV Önbelleği GPU'dan Yavaş Olduğunda: Bağlam Paralel Prefill İçin Uzak KV Katmanlarını Ölçeklendirme

## Problem Tanımı ve Üretim Ortamı Gözlemleri

Uzun bağlamlı (long-context) büyük dil modeli (LLM) sunumlarında prefill (ön doldurma) maliyetini düşürmenin standart yolu, dikkat (attention) KV önbelleğini istekler arasında yeniden kullanmaktır. Üretim sistemleri, motor başına düşen yerel önbelleği tüm motorların paylaştığı uzak bir katmanla (remote tier) desteklemektedir. Bu çalışmada, çok başlı gizli dikkat (MLA) mimarisine sahip FP8 uzmanların karışımı (MoE) modeli olan **GLM-5.3**, bağlam paralelliği (PCP8) çalıştıran 8xB300 düğümleri üzerinde ayrıştırılmış (disaggregated) bir dağıtımda incelenmiştir.

Valkey tabanlı **LMCache** uzak katmanını etkinleştirmek medyan ilk token süresini (TTFT) değiştirmemiş, ancak 16 bin token'lık p99 gecikmesini **3.96 saniyeden 17.3 saniyeye** çıkarmıştır. İzole bir motorda gerçek üretim akışı yeniden oynatıldığında, uzak önbellek isabetinin (hit) **0.88 saniye** sürdüğü, istemi sıfırdan yeniden hesaplamanın (recompute) ise sadece **0.31 saniye** aldığı görülmüştür. Senkron yükleme, yüksek isabet oranlı bir akışı kararsız bir kuyruğa dönüştürmüş; GPU'lar yalnızca **%7** meşgulken p99 gecikmesi **83.32 saniyeye** fırlamıştır.

## İki Terimli Maliyet Modeli

Geliştirilen iki terimli maliyet modeli bu darboğazı net biçimde açıklamaktadır:
- Uzak önbellek isabeti yalnızca uzak katman **B* = sR** (bu model ve GPU için **2.53 GB/sn**) değerinden daha yüksek bant genişliği sağladığında kazançlıdır.
- İsabet başına sabit motor maliyeti (**T0 ~ 0.33 sn**), yaklaşık **17 bin token'dan daha kısa** istemlerde hiçbir bant genişliği değerinde yeniden hesaplamayı geçemeyeceğini gösterir.

## Mimari Çözümler ve Optimizasyon Adımları

Maliyet modelinin rehberliğinde sistemde dört temel mühendislik iyileştirmesi uygulanmıştır:
- **(i) MLA KV Deposunun Parçalanması (Sharding):** MLA KV deposu PCP rank'ları arasında parçalanmıştır. Mevcut rank'lar arası minimum aramasının en uzun önbelleklenmiş öneki döndürdüğü kanıtlanmış ve kolektif işlemleri asla senkronizasyondan çıkarmayan bir yükleme protokolü eklenmiştir.
- **(ii) Uzak Katmanın Rank Bazlı Bölünmesi:** Uzak katman, koordinasyon olmaksızın her rank için bir sunucu örneği olacak şekilde bölünmüş ve GET bant genişliği **6.3 kat artırılarak 10.76 GB/sn** seviyesine çıkarılmıştır.
- **(iii) Asenkron Yükleme:** Parçalanmış depoya asenkron yükleme mekanizması eklenerek GPU'ların bloklanması önlenmiştir.
- **(iv) İstemci Hatalarının Giderilmesi:** Sınırsız takılmalara (stalls) yol açan üç kritik istemci hatası düzeltilmiştir.

## Sonuçlar ve Yazılım Geliştirme Çıkarımları

İstem token'larının **%98.5'inin** uzak katmandan sunulduğu yoğun isabetli akışta p99 gecikmesi **83.32 saniyeden 0.67 saniyeye** düşmüştür. Parçalanmış depo, prefill işlem hacmini (throughput) **%14**, ana depodaki (upstream) çekirdek düzeltmesiyle birlikte **%34** artırmıştır. Tüm değişiklikler LMCache projesine aktarılmıştır.

**Pratik Çıkarımlar:**
- **Önbellek her zaman daha hızlı değildir:** Modern GPU'ların hesaplama gücü ağ/bellek aktarımından hızlı olabilir; kısa bağlamlarda yeniden hesaplama yapmak uzak önbellekten okumaktan daha ucuzdur.
- **Senkron G/Ç darboğazı:** Dağıtık çıkarım (inference) sistemlerinde ağ aramalarını senkron yapmak GPU kullanımını çökertir; asenkron yükleme ve sharding zorunludur.

[](https://huggingface.co/papers/2610.21500)

---

Bu konuyu derinlemesine öğrenmek isterseniz: [Ölçeklendirme ve Optimizasyon](https://edumints.com/kesfet/embedding-ve-reranking-modelleri-productionda-depl-blu6) modülüne göz atın.

---

**Kaynak:** Hugging Face Papers (https://huggingface.co/papers/2610.21500)
**Yayıncı:** [Edumints Blog](https://blog.edumints.com) · Alıntılarken bu URL'ye bağlantı verin: https://blog.edumints.com/kv-onbellegi-gpu-dan-yavas-oldugunda-baglam-paralel-prefill-icin-uzak