---
title: "Cerebras Trilyon Parametreli Yapay Zeka Modellerini Nasıl Dağıtıyor?"
url: https://blog.edumints.com/cerebras-trilyon-parametreli-yapay-zeka-modellerini-nasil-dagitiyor
category: "Yazılım"
date: 2026-10-25T08:06:56.812Z
publisher: Edumints Blog
lang: tr-TR
source_name: "Hacker News"
source_url: https://www.cerebras.ai/blog/how-we-deploy-trillion-parameter-frontier-models-on-cerebras
---

# Cerebras Trilyon Parametreli Yapay Zeka Modellerini Nasıl Dağıtıyor?

Büyük ölçekli öncü (frontier) modelleri üretim ortamına taşımak, modern yapay zeka mühendisliğinin en kritik mimari zorluklarından biridir. Tek bir Cerebras WSE-3T yongası (wafer) **44 GB yonga üstü (on-chip) belleğe** sahipken, trilyonlarca parametreli modeller yalnızca ağırlıkları (weights) için terabaytlarca bellek gerektirir. Peki bir modeli birden fazla WSE-3T yongasına bölerek saniyede **1000-2000+ token** hızında nasıl çalıştırabiliriz?

Bu yazıda yaklaşık 3 trilyon parametreli açık kaynaklı **Kimi K3** modelini örnek alarak şu üç temel noktayı inceleyeceğiz:
- Tüm modeli yonga üstü belleğe (SRAM) nasıl sığdırdığımızı
- Modeli birden fazla yonga üzerine nasıl haritaladığımızı
- Yüksek sayıdaki eşzamanlı (concurrent) istekleri nasıl yönettiğimizi

## Kimi K3 ile Mimariyi Parçalara Ayırmak

**Kimi K3**, 69 doğrusal dikkat (linear-attention) katmanı ve 24 yoğun (dense) katmandan oluşan, toplam 93 katmanlı, 3 trilyon parametreli açık kaynaklı bir modeldir. Terminal-Bench 2.1'de **%88,3** (GPT-5.6 Sol: %88,8) ve BrowseComp'ta **%91,2** (GPT-5.6 Sol: %90,4) skor elde ederek kodlama ve otonom ajan (agentic) görevlerinde öncü kapalı modelleri bile geride bırakan bir performans sergiler.

Hesaplamalarımızda şu üretim varsayımlarını kullanıyoruz:
- Ortalama **256k** istek (context) boyutu
- **4-bit** ağırlık nicemlemesi (weight quantization - Hugging Face uygulaması gibi)
- **8-bit** KV önbelleği (KV cache)

## #1: Her Katmanın Boyutu

Kimi K3'ü desteklemek için gereken toplam WSE-3T yonga sayısını bulmak adına önce her bir katmanın boyutunu hesaplamalıyız. 3 trilyon parametrenin tamamı 4-bit olarak depolandığında ortaya çıkan ham parametre yükünü 93 katmana böldüğümüzde, **her bir katmanın yaklaşık 16 GB** bellek gerektirdiğini görürüz. 

*Geliştirici Çıkarımı:* Büyük modelleri üretimde ölçeklendirirken nicemleme (quantization) sadece hız için değil, donanım topolojisini belirleyen temel bellek matematiği için de zorunludur.

## #2: Yonga (Wafer) Sayısı

Her katmanın yaklaşık 16 GB gerektirdiğini bildiğimize göre, 44 GB'lık her bir yongaya kaç katman sığacağını katman türüne göre belirleyebiliriz:

- **Yoğun (Dense) Katmanlar:** Her tam dikkat (full-attention) katmanı, aktif her istekteki her token için anahtar (key) ve değerleri (value) sakladığından ek bir **KV önbelleği** alanına ihtiyaç duyar. Bu nedenle yonga başına **1 yoğun katman** yerleştirilir ve kalan SRAM alanı KV önbelleğine ayrılır.
- **Doğrusal Dikkat (Linear-Attention) Katmanları:** KV önbelleği için ek alana ihtiyaç duymazlar. Bağlam (context) uzunluğundan bağımsız olarak istek başına küçük ve sabit boyutlu bir durum (state) tutarlar. Böylece yonga başına **2 doğrusal katman** (2 × 16 GB = 32 GB) rahatlıkla sığar.

Kimi K3’ün 69 doğrusal katmanı (35 yonga) ve 24 yoğun katmanı (24 yonga) hesaplandığında, toplamda **35 + 24 = 59 yonga** elde edilir.

## #3: Yongaları Birbirine Bağlamak

Cerebras, modelleri bir **boru hattı (pipeline)** düzeninde çalıştırır. Derleyici (compiler) model katmanlarını yonga bölgelerine haritaladıktan sonra, çalışma zamanı (runtime) token'ların yongalar arasında akacağı yolu belirler. Ultra düşük gecikme için yongalar arasında yalnızca **aktivasyonların** aktarılması yeterlidir; bu işlem Ethernet üzerinden RDMA ile sıçrama (hop) başına yaklaşık **2 mikrosaniyede** gerçekleşir.

Her yongada 44 GB SRAM bulunduğu ve her katman yalnızca 16 GB olduğu için katmanlar yongalar arasında bölünmez; tamamen yonga içine sığar. Model ağırlıkları asla hareket etmez, yalnızca aktivasyonlar bir yongadan diğerine geçer.

## #4: Tek Bir İsteği Sunmak (Serving)

Yongalar birbirine bağlanıp model yerleştirildikten sonra, her bir yongayı bir **montaj hattındaki (assembly line)** bir aşama gibi düşünebiliriz. Yazılım mimarisi açısından bu yaklaşım, bellek darboğazını ortadan kaldırarak devasa modellerin gerçek zamanlı ajan ve kodlama iş yüklerinde kesintisiz akmasını sağlar.

---

**Kaynak:** Hacker News (https://www.cerebras.ai/blog/how-we-deploy-trillion-parameter-frontier-models-on-cerebras)
**Yayıncı:** [Edumints Blog](https://blog.edumints.com) · Alıntılarken bu URL'ye bağlantı verin: https://blog.edumints.com/cerebras-trilyon-parametreli-yapay-zeka-modellerini-nasil-dagitiyor