TAO: LLM Tabanlı Ajan Sunumu İçin Araç Duyarlı Ortak Zamanlama Çerçevesi

Ajan Tabanlı Sistemlerde Kaynak Yönetimi ve Mevcut Sorunlar#

Büyük Dil Modeli (LLM) tabanlı ajan servisleri, geleneksel tek adımlı metin üretim süreçlerinden çok farklı bir çalışma dinamiğine sahiptir. Bu sistemler, kümelenmiş GPU'lar üzerinde gerçekleşen yoğun model çıkarımı (inference) aşamaları ile dağıtık CPU'lar üzerinde çalışan harici araç (tool) çağrıları arasında sürekli geçiş yapar. Bir yazılım mühendisi için bu mimari, sistemin hem GPU hem de CPU darboğazlarını aynı anda yönetmesi gerektiği anlamına gelir. Ancak günümüzdeki mevcut sunum (serving) sistemleri bu hibrit yapıyı yönetirken iki temel mimari eksiklik barındırır:

• (1) Araç Dönüş Hazırlığının Göz Ardı Edilmesi: Mevcut sistemler servis değerlendirmesi yaparken harici araçların yanıt döndürme hazırlığını (tool-return readiness) dikkate almaz. Bir ajanın çağırdığı harici API veya CPU tabanlı aracın ne zaman işini bitireceği hesaplanmadığından, kısıtlı ve maliyetli olan GPU kaynakları atıl kalarak israf edilir.
• (2) Sezgisel (Heuristic) Kabul ve Yerleştirme Stratejileri: İsteklerin sisteme kabul edilmesi (admission) ve uygun GPU'lara yerleştirilmesi (placement) süreçlerinde basit sezgisel yöntemler kullanılır. Bu durum, karmaşık ajan iş yüklerinde alt-optimal (ideal olmayan) zamanlama kararlarına ve performans kayıplarına yol açar.

TAO Çerçevesi ve Teknik Yaklaşımı#

Bu boşluğu doldurmak amacıyla geliştirilen TAO, LLM tabanlı ajan sunumu için araç duyarlı ortak bir zamanlama (joint scheduling) çerçevesi sunar. TAO'nun getirdiği yenilikçi değer arayüzü, sistemin anlık durumunu çok boyutlu olarak analiz ederek üç kritik bileşeni bir araya getirir: yakın vadeli araç hazırlık durumu, zamana duyarlı azalma (time-aware decay) mekanizmasına sahip düğüme özgü önbellek kredisi (cache credit) ve oturumun token ayak izi.

Bu değer arayüzünün üzerinde çalışan dinamik programlama algoritması, kapasite kısıtlamaları altında bekleyen ajan oturumlarını ortaklaşa seçer ve en uygun GPU düğümlerine yerleştirir.

Performans Kazanımları ve Yazılım Geliştiriciler İçin Pratik Çıkarımlar#

Raporlanan 12 farklı model, iş yükü ve eşzamanlılık (concurrency) senaryosunda TAO; her bir metrik için değerlendirilen en iyi güncel (state-of-the-art) referans sistemlere kıyasla gecikmeyi (latency) %26,8'e kadar azaltmakta, ilk token'a kadar geçen ortalama süreyi (TTFT) %36,3'e kadar düşürmekte ve çözümleme üretim hızını (decode throughput) %29,5'e kadar artırmaktadır.

Mühendislik ve sistem tasarımı açısından çıkarımlarımız şunlardır:

• Ölçeklendirme ve Optimizasyon: Çok adımlı ajan (multi-step agent) mimarilerini üretime alırken, harici araçların dönüş sürelerini tahmin edilebilir kılmak ve GPU önbellek (KV cache) yaşam döngüsüyle eşleştirmek donanım maliyetlerini doğrudan düşürür.
• Tool Calling ve Multi-Step Agent'lar: Ajan iş akışlarında CPU üzerindeki araç çağrıları ile GPU üzerindeki çıkarım süreçlerini birbirinden bağımsız düşünmek yerine, uçtan uca birleşik bir zamanlama problemi olarak ele almak kullanıcı deneyimini (TTFT) çarpıcı biçimde iyileştirir.