Janas: SSD'den Uzman Akışı ile RAM Kapasitesini Aşan LLM'leri Çalıştırmak

Giriş ve Mimari Yaklaşım#

Büyük dil modellerini yerel donanımlarda çalıştırmanın en kritik darboğazı sistem belleğidir (RAM). Saf C (pure C) ile geliştirilen açık kaynaklı Janas, MoE (Mixture of Experts) mimarisindeki uzman katmanlarını NVMe SSD üzerinden doğrudan belleğe akıtarak (streaming experts) RAM kapasitesini aşan modellerin CPU ve entegre GPU üzerinde yüksek verimlilikle çalışmasını sağlar.

Model Karşılaştırma Sonuçları (Q4_K_M)#

Debian 13 Linux kurulu, Intel Core Ultra 9 185H işlemci, entegre Arc GPU, 32 GB RAM ve NVMe SSD barındıran bir dizüstü bilgisayarda yapılan testlerde Janas, karşılaştırılan 13 modelin tamamında llama.cpp'ye kıyasla belirgin bir üstünlük sağlamıştır (1.024 token okuma / yazma):

Qwen3-Next-80B-A3B (48.4 GB): Okumada 62 vs 16 tok/s; yazmada taslak modellerle 37 tok/s, taslaksız 24 vs 2.8 tok/s.
Qwen3-Coder-Next (48.4 GB): Okumada 66 vs 14 tok/s; yazmada 22 vs 2.2 tok/s.
Qwen3.6-35B-A3B: Okumada 104 vs 79 tok/s; yazmada 19 vs 12 tok/s.
Qwen3-30B-A3B: Okumada 135 vs 122 tok/s; yazmada 32 vs 15 tok/s.
Gemma-4-26B-A4B-it: Okumada 84 vs 76 tok/s; yazmada 18 vs 12 tok/s.
Gemma-4-12B-it: Okumada 65 vs 46 tok/s; yazmada 9.9 vs 7.1 tok/s.
Qwen3.5-9B: Okumada 111 vs 78 tok/s; yazmada 14 vs 8.7 tok/s.
Gemma-4-E4B-it: Okumada 122 vs 109 tok/s; yazmada 20 vs 15 tok/s.
Qwen3-4B: Okumada 193 vs 164 tok/s; yazmada 27 vs 18 tok/s.
Gemma-4-E2B-it: Okumada 191 vs 150 tok/s; yazmada 38 vs 19 tok/s.
Qwen3.5-2B: Okumada 441 vs 323 tok/s; yazmada 52 vs 28 tok/s.
Qwen3.5-0.8B: Okumada 799 vs 519 tok/s; yazmada 109 vs 32 tok/s.
Qwen3-0.6B: Okumada 939 vs 670 tok/s; yazmada 130 vs 45 tok/s.

Alternatif Kuantizasyonlar ve İstisna#

Topluluk kataloglarındaki farklı kuantizasyon varyantlarında da benzer kazanımlar elde edilmiştir:

Qwen3-30B-A3B (bartowski Q4_K_M): Okuma 131 vs 122 tok/s; yazma 32 vs 16 tok/s.
Qwen3-30B-A3B (unsloth UD-Q3_K_XL, 3-bit): Okuma 100 vs 112 tok/s; yazma 36 vs 11 tok/s.
Qwen3-4B (bartowski Q4_K_M): Okuma 191 vs 160 tok/s; yazma 26 vs 18 tok/s.

Buradaki tek istisna, 3-bitlik Qwen3-30B modelinde Q3_K ağırlıklarının henüz GPU hızlı prompt yoluna aktarılamaması nedeniyle prompt okumanın llama.cpp'den yavaş kalmasıdır; buna karşın yazma işleminde yine 3 kat daha hızlıdır.

Geliştiriciler İçin Pratik Çıkarımlar ve Kurulum#

Donanım ve Maliyet Optimizasyonu: 32 GB RAM'li standart bir geliştirici dizüstü bilgisayarında 48 GB'lık modellerin 24–37 tok/s hızla çalışabilmesi, pahalı sunucu ve bulut GPU bağımlılığını ortadan kaldırır.
Performans Ölçümü: Geliştiriciler janas-bench aracı ile kendi donanımlarının gerçek çıkarım kapasitesini bağımsız olarak profilleyebilir.
Hızlı Dağıtım: Linux x86-64 ortamında derlenmiş paket indirilip tar xf sonrasında ./janas-chat ile çalıştırılabilir. Windows 11 üzerinde de .\janas-chat komutuyla Linux seviyesinde yüksek yazma hızlarına ulaşılmaktadır.

Bu konuyu derinlemesine öğrenmek isterseniz: Ölçeklendirme ve Optimizasyon modülüne göz atın.