Huawei, Yerel Çıkarım İçin Dahili Kuantizasyon Aracı MACaQ'u Yayınladı

Yapay zeka modellerini yerel donanımlarda ve üretim ortamlarında verimli şekilde çalıştırmak isteyen yazılım geliştiriciler için model sıkıştırma kritik bir adımdır. Huawei tarafından açık kaynak olarak sunulan MACaQ, GGUF formatı, yerel çıkarım (local inference) ve ötesi için son teknoloji (SOTA), modelden bağımsız bir kuantizasyon (nicemleme) çözümü sunar. Metin modellerinin ötesine geçerek görüntü, video ve ses modellerini llama.cpp, vLLM, Diffusers ve PyTorch ile kuantize etmenize ve çalıştırmanıza olanak tanır.

Performans ve Mühendislik Avantajları#

Büyük modelleri sınırlı donanım kaynaklarıyla optimize etmek genellikle yüksek bellek ve zaman maliyeti yaratır. MACaQ bu darboğazları doğrudan çözer:

122B parametreli devasa bir modeli yalnızca 32.5 GB cihaz belleği kullanarak 64 dakikada kuantize edebilir.
MR-GPTQ ve DuQuant++ yöntemlerine kıyasla daha düşük şaşkınlık (perplexity) skoru elde edebilir veya en iyi Llama-3-8B sonuçlarını 11 kat daha kısa kuantizasyon süresiyle yakalayabilir.

Altyapınızı (Backend) Seçin#

Geliştirme sürecinde paket çakışmalarını önlemek adına Python 3.12 kullanılması ve her altyapı için ayrı bir sanal ortam oluşturulması önerilir (ayrıca llama.cpp CPU üzerinde çalışmayı da destekler):

Diffusers: Görüntü, video ve ses üretimi, W4A4 formatı.
llama.cpp: Metin üretimi, 2/3/4-bit GGUF formatları.
vLLM: Metin üretimi ve sunumu (serving), W4A4 veya yalnızca ağırlık (weight-only) kuantizasyonu.
PyTorch: Konuşma (speech) üretimi, W4A4 formatı.

Diffusers İle Çoklu Ortam Üretimi#

Diffusion transformer modellerini kuantize edip safetensors kontrol noktaları (checkpoints) olarak kaydedebilir; görüntü, video veya ses üretebilirsiniz. Görüntüden videoya (image-to-video) dönüşüm süreçlerinde kalibrasyon aşamasında koşullandırma görüntüleri kullanılır:

black-forest-labs/FLUX.2-klein-4B: Görüntü üretimi.
Wan-AI/Wan2.2-TI2V-5B-Diffusers: Video ve görüntüden videoya üretim.
ylacombe/stable-audio-1.0: Ses üretimi.

llama.cpp İle Metin Modelleri ve GGUF#

Metin modellerini 2, 3 ve 4-bit GGUF formatlarına kuantize edip kaydedebilir ve dahili çalışma zamanı (runtime) ile çalıştırabilirsiniz. Desteklenen başlıca model ve iş akışları şunlardır:

Qwen/Qwen3-4B: Yoğun (Dense) Qwen3 iş akışı.
Qwen/Qwen3.8-27B: Hibrit metin iş akışı.
Qwen/Qwen3-30B-A3B: Uzmanların Karışımı (MoE) iş akışı.
Qwen/Qwen3-Coder-30B-A3B-Instruct: Kod odaklı MoE iş akışı.
Qwen/Qwen3.6-35B-A3B: MACaQ ve MACaQ-R desteği.
allenai/OLMoE-1B-7B-0125-Instruct: MoE iş akışı.
Qwen/Qwen3-Next-80B-A3B-Instruct: MoE iş akışı.
Qwen/Qwen3.8-Flash-Next: Modele özgü tarif (recipe).

Standart llama.cpp İle MACaQ-R#

MACaQ-R, kuantize edilmiş bir GGUF dosyasındaki ağırlık kodlarını yerel formatları ve blok ölçeklerini koruyarak iyileştirir. Üretilen GGUF modelleri herhangi bir ek yama gerektirmeden standart bir llama.cpp kurulumuyla doğrudan çalışır.

Qwen3.6-35B-A3B modeli üzerinde FP16 referansına göre KL ıraksaması (KL divergence - düşük olması daha iyidir) karşılaştırması:

Unsloth UD-Q4_K_XL: 22.36 GB boyut, 0.015731 KL skoru.
MACaQ-R Q4_K_XL: 22.36 GB boyut, 0.013367 KL skoru.

Geliştiriciler, kuantize edilmiş bir MoE GGUF dosyasını ve orijinal kaynak modelini kullanarak llamacpp/macaq.py refine komutuyla kendi optimize edilmiş MACaQ-R modellerini kolayca üretebilir ve yerel çıkarım kalitesini artırabilirler.