Evolving Infra: Ölçeklenebilir ve Ajan Uyumlu LLM Sunumu

Ajan İş Yükleri ve Mevcut Sunum Darboğazları#

Ajan tabanlı iş yükleri, büyük dil modeli (LLM) çıkarım talebinin ana kaynağını oluşturuyor. Mevcut ön-doldurma ve çözme (prefill-decode, PD) ayrıştırmalı sunum sistemleri, çalışma zamanında hesaplama tahsisi ile anahtar-değer (KV) cache yönetimini uyarlama konusunda sınırlı esneklik sunar. Çeşitli ve dinamik ajan iş yüklerini yalnızca kısmen yakalayan kaba sinyallere dayanan bu mimariler, prefill ve decode düğümleri arasında yük dengesizliğine yol açar. Üstelik ajanların tekrar kullanacağı KV cache verileri bellekten erken silinir. Üretim ortamında çok adımlı ajanlar geliştiren ekipler için bu durum, gecikme sürelerinin artması ve donanım kaynaklarının israf edilmesi anlamına gelir.

Evolving Infra Mimarisi ve Çalışma Zamanı Uyarlaması#

Evolving Infra, çalışma zamanında hesaplama tahsisini ajan iş yüklerine, KV cache yönetimini ise ajan bağlam yönetimine uyarlayan yeni nesil sunum çerçevesidir. Hesaplama tahsisini KV cache yönetiminden ayırarak düğümlerin prefill ve decode görevleri arasında verimli biçimde geçiş yapmasını sağlar. Mimari iki temel bileşen üzerine kurulur:

• Çevrimiçi Planlayıcı (Online Planner): PD ayrımını anlık iş yükü bileşimine eşleştirerek düğümler arasındaki yük dengesizliğini giderir.
• Ajan Duyarlı Dağıtık KV Yöneticisi: Ajan bağlam yönetiminden gelen sinyalleri kullanarak cache silme (eviction) ve transfer süreçlerini yönlendirir.

Performans Kazanımları ve Pratik Çıkarımlar#

En fazla 256 adet GB300 GPU üzerinde GLM-5.2 ve Kimi K2.6 modelleriyle yürütülen kodlama, matematik ve bilgisayar kullanımı görevlerinde Evolving Infra çarpıcı sonuçlar veriyor. NVIDIA'nın üretim çerçevesi Dynamo ile kıyaslandığında ortalama uçtan uca istek gecikmesini 4,1 kata kadar, P95 ilk token üretme süresini (TTFT) ise 14 kata kadar düşürüyor.

Yazılım mühendisliği ve Ölçeklendirme ve Optimizasyon süreçleri açısından bu bulgular somut dersler içerir. Ajan mimarileri tasarlarken sunum katmanını bağlam yönetiminden bağımsız düşünmek performansı kısıtlar:

• Bağlam Sinyallerini İletin: Ajanın hangi geçmiş adımları tekrar kullanacağını sunum katmanına bildirmek, KV cache isabet oranını doğrudan artırır.
• Dinamik Kaynak Tahsisi Kullanın: Kodlama veya bilgisayar kullanımı gibi değişken uzunluklu görevlerde sabit PD oranları yerine iş yüküne göre esneyen düğüm yapılarını tercih edin.
• P95 TTFT Metriğini İzleyin: Çok adımlı ajan döngülerinde uç değer gecikmeleri zincirleme yavaşlamaya yol açtığından, altyapı optimizasyonunda ortalama değerler kadar P95 metriklerine de odaklanın.

Orijinal makaleye buradan ulaşabilirsiniz.