ShapeLearn Qwen 3.8 27B: Nicemleme ve Çıkarım Optimizasyonunda Yeni Sınır

ByteShape ekibi, 14 Ağustos 2026 tarihinde yayımlanan Qwen 3.8 27B modelinin ardından, dört gün sonra hızlıca ShapeLearn-Lite GGUF sürümlerini kullanıma sunmuştu. Daha düşük optimizasyon bütçesi ve sınırlı kontrollerle üretilen Lite modelleri beklenenden çok daha dirençli çıksa da, tam optimizasyon sürecinden geçen ShapeLearn modelleri hem Lite sürümlerini hem de piyasadaki rakip nicemlemeleri (quantization) geride bırakmayı başarıyor.

llama.cpp ile Hızlı Başlangıç

Geliştiricilerin yerel ortamlarda veya sunucularda çıkarım (inference) hızını katlaması için taslak modellerle spekülatif kod çözme (speculative decoding) desteği sunuluyor:

MTP (Gömülü Taslak): Her GGUF içine entegre edilmiştir ve görsel girdi (multimodal) desteğine sahiptir:

llama-server \
  -hf byteshape/Qwen3.8-27B-GGUF:Qwen3.8-27B-IQ4_XS-3.84bpw \
  --mmproj-auto \
  --spec-type draft-mtp --spec-draft-n-max 3

DFlash2 (Harici Taslak): Metin odaklı en hızlı seçenektir; 1.1 GB harici taslak model kullanır (llama.cpp b10658 veya üstü gereklidir):

llama-server \
  -hf byteshape/Qwen3.8-27B-GGUF:Qwen3.8-27B-IQ4_XS-3.84bpw \
  -hfd incoai/Qwen3.8-27B-DFlash2-GGUF:Q4_K_M \
  --spec-type draft-dflash --spec-draft-n-max 7 \
  --no-mmproj

Özet ve Temel Bulgular (TL;DR)

Tam ShapeLearn kalite-hız sınırını Lite'ın ötesine taşıyor: Yeni sürümdeki beş modelin tamamı, test edilen altı GPU mimarisinin her birinde verimlilik sınırında (frontier) yer almaktadır.
GPU-5 varsayılan model önerisidir: Uygun bellek koşullarında BF16 kıyaslama puanının %99,63'üne ulaşır. Belleğin yetersiz kaldığı geniş bağlam (context) senaryolarında ise GPU-4, 13.1 GB yerine 11.0 GB boyutuyla BF16 başarımının %98,72'sini daha yüksek hızda sağlar.
ShapeLearn-Lite KLD sıralamasının ötesinde performans sergiledi: Unsloth Dynamic v3 ile kıyaslandığında, altı Lite modelinden üçü doğrudan kalite-hız sınırına yerleşti.
MTP veya DFlash2 ile Spekülatif Kod Çözme verimi belirgin biçimde artırıyor: DFlash2 daha yüksek token üretim hızı (TPS) sunsa da daha fazla VRAM gerektirir ve görsel girdileri desteklemez. Bellek tasarrufu ve çok-modlu kullanımda MTP, en yüksek metin çıktısı için DFlash2 seçilmelidir.

Tam ShapeLearn Verimlilik Sınırını Genişletiyor

Yoğun (dense) mimarili modellerde bellek transferleri temel darboğazı oluşturur. Bu nedenle MoE yapılarının aksine, daha düşük BPW (bit-per-weight) doğrudan daha yüksek token hızına (TPS) dönüşür. AtomicChat, Bartowski, ISTA-DASLab ve Unsloth Dynamic v3 modelleriyle yapılan karşılaştırmalarda beş ShapeLearn modelinin tümü sınırda kalmayı başardı; hiçbir rakip model aynı anda hem daha hızlı hem de daha isabetli sonuç vermedi.

Yazılım Geliştirme Açısından Pratik Çıkarımlar

Donanım Optimizasyonu: 13.1 GB VRAM gereksinimi, 27B seviyesindeki güçlü bir LLM'i tek bir kurumsal veya tüketici sınıfı GPU üzerinde maliyet etkin şekilde çalıştırmayı mümkün kılar.
Mimari Kararlar: Multimodal API servislerinde gömülü MTP tercih edilmeli; yüksek hacimli metin tabanlı ajan ve sohbet iş yüklerinde ise harici DFlash2 ile gecikme minimize edilmelidir.

Orijinal kaynağa buradan ulaşabilirsiniz.

Bu konuyu derinlemesine öğrenmek isterseniz: Ölçeklendirme ve Optimizasyon modülüne göz atın.