Cerebras Trilyon Parametreli Yapay Zeka Modellerini Nasıl Dağıtıyor?

Büyük ölçekli öncü (frontier) modelleri üretim ortamına taşımak, modern yapay zeka mühendisliğinin en kritik mimari zorluklarından biridir. Tek bir Cerebras WSE-3T yongası (wafer) 44 GB yonga üstü (on-chip) belleğe sahipken, trilyonlarca parametreli modeller yalnızca ağırlıkları (weights) için terabaytlarca bellek gerektirir. Peki bir modeli birden fazla WSE-3T yongasına bölerek saniyede 1000-2000+ token hızında nasıl çalıştırabiliriz?

Bu yazıda yaklaşık 3 trilyon parametreli açık kaynaklı Kimi K3 modelini örnek alarak şu üç temel noktayı inceleyeceğiz:

Tüm modeli yonga üstü belleğe (SRAM) nasıl sığdırdığımızı
Modeli birden fazla yonga üzerine nasıl haritaladığımızı
Yüksek sayıdaki eşzamanlı (concurrent) istekleri nasıl yönettiğimizi

Kimi K3 ile Mimariyi Parçalara Ayırmak#

Kimi K3, 69 doğrusal dikkat (linear-attention) katmanı ve 24 yoğun (dense) katmandan oluşan, toplam 93 katmanlı, 3 trilyon parametreli açık kaynaklı bir modeldir. Terminal-Bench 2.1'de %88,3 (GPT-5.6 Sol: %88,8) ve BrowseComp'ta %91,2 (GPT-5.6 Sol: %90,4) skor elde ederek kodlama ve otonom ajan (agentic) görevlerinde öncü kapalı modelleri bile geride bırakan bir performans sergiler.

Hesaplamalarımızda şu üretim varsayımlarını kullanıyoruz:

Ortalama 256k istek (context) boyutu
4-bit ağırlık nicemlemesi (weight quantization - Hugging Face uygulaması gibi)
8-bit KV önbelleği (KV cache)

#1: Her Katmanın Boyutu#

Kimi K3'ü desteklemek için gereken toplam WSE-3T yonga sayısını bulmak adına önce her bir katmanın boyutunu hesaplamalıyız. 3 trilyon parametrenin tamamı 4-bit olarak depolandığında ortaya çıkan ham parametre yükünü 93 katmana böldüğümüzde, her bir katmanın yaklaşık 16 GB bellek gerektirdiğini görürüz.

Geliştirici Çıkarımı: Büyük modelleri üretimde ölçeklendirirken nicemleme (quantization) sadece hız için değil, donanım topolojisini belirleyen temel bellek matematiği için de zorunludur.

#2: Yonga (Wafer) Sayısı#

Her katmanın yaklaşık 16 GB gerektirdiğini bildiğimize göre, 44 GB'lık her bir yongaya kaç katman sığacağını katman türüne göre belirleyebiliriz:

Yoğun (Dense) Katmanlar: Her tam dikkat (full-attention) katmanı, aktif her istekteki her token için anahtar (key) ve değerleri (value) sakladığından ek bir KV önbelleği alanına ihtiyaç duyar. Bu nedenle yonga başına 1 yoğun katman yerleştirilir ve kalan SRAM alanı KV önbelleğine ayrılır.
Doğrusal Dikkat (Linear-Attention) Katmanları: KV önbelleği için ek alana ihtiyaç duymazlar. Bağlam (context) uzunluğundan bağımsız olarak istek başına küçük ve sabit boyutlu bir durum (state) tutarlar. Böylece yonga başına 2 doğrusal katman (2 × 16 GB = 32 GB) rahatlıkla sığar.

Kimi K3’ün 69 doğrusal katmanı (35 yonga) ve 24 yoğun katmanı (24 yonga) hesaplandığında, toplamda 35 + 24 = 59 yonga elde edilir.

#3: Yongaları Birbirine Bağlamak#

Cerebras, modelleri bir boru hattı (pipeline) düzeninde çalıştırır. Derleyici (compiler) model katmanlarını yonga bölgelerine haritaladıktan sonra, çalışma zamanı (runtime) token'ların yongalar arasında akacağı yolu belirler. Ultra düşük gecikme için yongalar arasında yalnızca aktivasyonların aktarılması yeterlidir; bu işlem Ethernet üzerinden RDMA ile sıçrama (hop) başına yaklaşık 2 mikrosaniyede gerçekleşir.

Her yongada 44 GB SRAM bulunduğu ve her katman yalnızca 16 GB olduğu için katmanlar yongalar arasında bölünmez; tamamen yonga içine sığar. Model ağırlıkları asla hareket etmez, yalnızca aktivasyonlar bir yongadan diğerine geçer.

#4: Tek Bir İsteği Sunmak (Serving)#

Yongalar birbirine bağlanıp model yerleştirildikten sonra, her bir yongayı bir montaj hattındaki (assembly line) bir aşama gibi düşünebiliriz. Yazılım mimarisi açısından bu yaklaşım, bellek darboğazını ortadan kaldırarak devasa modellerin gerçek zamanlı ajan ve kodlama iş yüklerinde kesintisiz akmasını sağlar.