GLM-5.3 ve vLLM: İki DGX Station ile Yerel Model Sunumu

Z.ai'nin geliştirdiği Mixture-of-Experts (MoE) mimarili modelin NVIDIA tarafından nicemlenmiş (quantized) sürümü olan GLM-5.3 NVFP4, toplamda 753 milyar parametre barındırıyor. Her token için yalnızca 40 milyar parametre aktifleşse de sistemin tüm ağırlıkları GPU belleğinde hazır tutması şart. Çünkü gelen her yeni token, ağ içindeki farklı uzmanlara (experts) yönlendirilebiliyor. Yaklaşık 464 GB yer kaplayan model ağırlıkları, tek bir GB300 GPU üzerindeki 252 GB HBM3e belleğe sığmıyor.

Ağırlıkları CPU belleğine kaydırmadan (CPU weight offload kapalı) yerel ortamda çalıştırmak istediğinde tek makine sınırı devreye giriyor. Çözüm, iki ayrı NVIDIA DGX Station sistemini ConnectX-8 RDMA üzerinden birbirine bağlayarak ortak bir bellek ve hesaplama havuzu oluşturmaktan geçiyor.

Tensor Parallelism ve vLLM Mimarisi Nasıl Çalışıyor?#

İki makineyi birleştirdiğinde vLLM, her iki istasyon üzerinde dağıtık bir servis başlatıyor. Burada tensor parallelism (TP=2) devreye girerek modelin tensörlerini iki GB300 GPU arasında eşit şekilde bölüyor. Her iki GPU da model ağırlıklarının yaklaşık yarısını kendi ayrık belleğinde tutuyor ve gelen her isteği birlikte hesaplıyor. İstemci tarafında ise karmaşık bir yönlendirme yok; birinci istasyon (Station A), hesaplanan yanıtı OpenAI uyumlu tek bir API uç noktası üzerinden dışarıya sunuyor.

Performansı yüksek tutmak için vLLM tarafında üç temel özellik açılıyor:

• Multi-token prediction: Tek adımda birden fazla token tahmin ederek üretim hızını artırır.
• FP8 KV-cache: Anahtar-değer önbelleğini FP8 formatında tutarak bellek tüketimini düşürür.
• Prefix caching: Tekrarlayan istem başlangıçlarını önbelleğe alarak gereksiz hesaplamaları önler.

Eşzamanlı Yük Altında Sınırları Görmek#

Büyük bir modeli ayağa kaldırmak işin ilk adımı. Asıl mesele, birden fazla kullanıcı aynı anda istek gönderdiğinde sistemin nasıl tepki verdiğini ölçmek. SPEED-Bench Coding veri seti üzerinde AIPerf aracıyla yapılan testler, donanımın darboğaz noktalarını net biçimde gösteriyor.

Eşzamanlı istek sayısı (concurrency) 16 olduğunda, sistem saniyede 607,8 token toplam çıktı hızına (throughput) ulaşarak zirveyi görüyor. Eşzamanlılık 32'ye çıkarıldığında ise tablo tersine dönüyor; toplam üretim hızı saniyede 385,0 token seviyesine düşerken ortalama istek gecikmesi (mean request latency) 453,5 saniyeye çıkıyor. Kendi yerel model sunucunu kurarken "daha fazla paralel istek her zaman daha yüksek verim demektir" yanılgısına düşmemelisin. Donanım kapasitesinin üzerindeki eşzamanlı yükler, kuyruk sürelerini uzatarak toplam performansı aşağı çekiyor.

Kendi Ortamında Denemek İçin Gereksinimler#

Böyle bir dağıtık kurulumu ayağa kaldırmak ve kendi iş yükünü test etmek için şu adımları ve ön koşulları sağlaman gerekiyor:

1. Donanım ve Ağ Doğrulaması: Linux çalışan iki adet GB300 DGX Station sistemini Connect Two DGX Stations rehberini izleyerek birbirine bağla. Kuruluma geçmeden önce her iki hat (rail) üzerinde GPU belleği RDMA testini çalıştırıp bağlantıyı doğrula.
2. Erişim ve Yazılım: Her iki istasyonda da aynı Linux kullanıcı adıyla SSH ve sudo yetkisine sahip olmalısın. Docker ve NVIDIA Container Toolkit, DGX Station yazılım yığınıyla önceden yüklü geliyor; yalnızca konteyner kayıt defterine (container registry) dış erişim izni vermen yeterli.
3. Konfigürasyon ve Test: Güncel ayarlar için NVIDIA Local AI tarif deposunu (recipe repository) incele. Servisi vLLM dökümantasyonundaki adımlarla OpenAI uyumlu uç nokta üzerinden uygulamanla bağladıktan sonra, kendi özel istemlerinle AIPerf testlerini tekrar çalıştırarak iş yükün için en uygun eşzamanlılık değerini bul.

---

Bu konuyu derinlemesine öğrenmek istersen: Ölçeklendirme ve Optimizasyon modülüne göz at.