Redis'in Yaratıcısından: ds4 ile LLM'leri Yerel Olarak Çalıştırmak

Giriş: Yerel Uç Model Çıkarımı (ds4)

Redis’in yaratıcısı Salvatore Sanfilippo tarafından geliştirilen DwarfStar 4 (ds4); yüksek bellekli Mac, CUDA ve ROCm sistemlerinde açık kaynaklı büyük dil modellerini yerel çalıştırmak için geliştirilmiş yalın bir C çıkarım motorudur. DeepSeek V4 ve V4.1 Flash, GLM 5.x ile Qwen3.8 modellerini destekleyen sistem; metin ve görme modellerini, yerel API'leri, CLI arayüzünü ve yerleşik bir kodlama ajanını tek çatı altında sunar.

Yerel Model Yığını İlkeleri

ds4 mimarisi, devasa parametreli modelleri yerel ortama taşırken 3 temel aşamadan oluşur:

Aşama 1 · Dev (The Giant): DeepSeek V4 Flash gibi 284 milyar parametrelik devasa uzman karışımı (MoE) modelleri genelde uzak sunucularda barındırılırken, ds4 yerel çalışma kısıtını merkeze alır.
Aşama 2 · Çöküş (The Collapse): Asimetrik kuantizasyon tekniği, kritik ortak yolları korurken yönlendirilen uzman katmanlarını hedefler. Model yetenek kaybı yaşamadan yüksek bellekli cihazlara sığdırılır.
Aşama 3 · Beyaz Cüce (The Dwarf Star): CLI, HTTP API'leri ve yerel ajanın ortak model durumunu ve önbelleği paylaştığı bağımsız, yerel bir çalışma ortamı elde edilir.

Çekirdek Özellikler

Yazılım geliştiriciler için çıkarım verimliliğini artıran 3 çekirdek bileşen şunlardır:

Çekirdek 01 · Asimetrik 2-bit Kuantizasyon: Yönlendirilen uzmanları sıkıştırırken paylaşılan kritik yolları yüksek hassasiyette tutar; MoE modellerinin hedef makinelerin RAM sınırlarına girmesini sağlar.
Çekirdek 02 · Diskte Yaşayan KV Cache: Uzun prompt öneklerini SHA1 hash anahtarıyla doğrudan SSD'ye kaydeder. Sunucu yeniden başlasa bile bağlam yeniden hesaplanmaz (prefill atlanır), diskten anında geri yüklenir.
Çekirdek 03 · Tek Motor, Üç Arayüz: Doğrudan terminal sohbeti için ./ds4, OpenAI ve Anthropic uyumlu yerel API sunucusu için ./ds4-server, sürekli bağlamlı kodlama oturumları için ise ./ds4-agent araçlarını sağlar.

3 Adımda Kurulum ve Kullanım

Geliştiricilerin hızlıca yerel ortam kurabilmesi için optimize edilen 3 adım:

Adım 1 · Ağırlıkları İndirin: Git deposunu klonlayıp ./download_model.sh ds4f-q2 komutuyla 2-bit kuantize model ağırlıklarını çekin.
Adım 2 · Donanıma Göre Derleyin: macOS Metal için make, Linux DGX Spark veya CUDA sistemleri için make cuda-spark ile C motorunu derleyin.
Adım 3 · Modele Bağlanın: ./ds4 ile etkileşimli sohbeti başlatın veya ./ds4-server --ctx 100000 komutuyla geniş bağlamlı API sunucusunu ayağa kaldırın.

Donanım ve Yazılım Çıkarımları

Apple Silicon, NVIDIA ve AMD Strix Halo donanımlarını destekleyen ds4; 128 GB M5 Max sisteminde 2.048 token bağlamda 790 token/sn prefill ve 39,4 token/sn üretim değerlerine ulaşır. Geliştiriciler açısından bu mimari; C ile donanıma yakın çalışmanın, akıllı kuantizasyonun ve KV cache'i diskte saklamanın yerel yapay zekâ uygulamalarında gecikmeyi ve bellek darboğazını nasıl kökten çözdüğünü kanıtlamaktadır.

Orijinal kaynağa buradan ulaşabilirsiniz.

Bu konuyu derinlemesine öğrenmek isterseniz: Ölçeklendirme ve Optimizasyon modülüne göz atın.