---
title: "Huawei, Yerel Çıkarım İçin Dahili Kuantizasyon Aracı MACaQ'u Yayınladı"
url: https://blog.edumints.com/huawei-yerel-cikarim-icin-dahili-kuantizasyon-araci-macaq-u-yayinladi
category: "Makine Öğrenmesi"
date: 2026-11-12T08:08:49.884Z
publisher: Edumints Blog
lang: tr-TR
source_name: "Hacker News"
source_url: https://github.com/huawei-csl/MACaQ
---

# Huawei, Yerel Çıkarım İçin Dahili Kuantizasyon Aracı MACaQ'u Yayınladı

Yapay zeka modellerini yerel donanımlarda ve üretim ortamlarında verimli şekilde çalıştırmak isteyen yazılım geliştiriciler için model sıkıştırma kritik bir adımdır. Huawei tarafından açık kaynak olarak sunulan **MACaQ**, GGUF formatı, yerel çıkarım (local inference) ve ötesi için son teknoloji (SOTA), modelden bağımsız bir kuantizasyon (nicemleme) çözümü sunar. Metin modellerinin ötesine geçerek görüntü, video ve ses modellerini **llama.cpp**, **vLLM**, **Diffusers** ve **PyTorch** ile kuantize etmenize ve çalıştırmanıza olanak tanır.

## Performans ve Mühendislik Avantajları

Büyük modelleri sınırlı donanım kaynaklarıyla optimize etmek genellikle yüksek bellek ve zaman maliyeti yaratır. MACaQ bu darboğazları doğrudan çözer:
- **122B parametreli** devasa bir modeli yalnızca **32.5 GB cihaz belleği** kullanarak **64 dakikada** kuantize edebilir.
- **MR-GPTQ** ve **DuQuant++** yöntemlerine kıyasla daha düşük şaşkınlık (perplexity) skoru elde edebilir veya en iyi Llama-3-8B sonuçlarını **11 kat daha kısa** kuantizasyon süresiyle yakalayabilir.

## Altyapınızı (Backend) Seçin

Geliştirme sürecinde paket çakışmalarını önlemek adına **Python 3.12** kullanılması ve her altyapı için ayrı bir sanal ortam oluşturulması önerilir (ayrıca `llama.cpp` CPU üzerinde çalışmayı da destekler):
- **Diffusers**: Görüntü, video ve ses üretimi, W4A4 formatı.
- **llama.cpp**: Metin üretimi, 2/3/4-bit GGUF formatları.
- **vLLM**: Metin üretimi ve sunumu (serving), W4A4 veya yalnızca ağırlık (weight-only) kuantizasyonu.
- **PyTorch**: Konuşma (speech) üretimi, W4A4 formatı.

## Diffusers İle Çoklu Ortam Üretimi

Diffusion transformer modellerini kuantize edip `safetensors` kontrol noktaları (checkpoints) olarak kaydedebilir; görüntü, video veya ses üretebilirsiniz. Görüntüden videoya (image-to-video) dönüşüm süreçlerinde kalibrasyon aşamasında koşullandırma görüntüleri kullanılır:
- **black-forest-labs/FLUX.2-klein-4B**: Görüntü üretimi.
- **Wan-AI/Wan2.2-TI2V-5B-Diffusers**: Video ve görüntüden videoya üretim.
- **ylacombe/stable-audio-1.0**: Ses üretimi.

## llama.cpp İle Metin Modelleri ve GGUF

Metin modellerini 2, 3 ve 4-bit **GGUF** formatlarına kuantize edip kaydedebilir ve dahili çalışma zamanı (runtime) ile çalıştırabilirsiniz. Desteklenen başlıca model ve iş akışları şunlardır:
- **Qwen/Qwen3-4B**: Yoğun (Dense) Qwen3 iş akışı.
- **Qwen/Qwen3.8-27B**: Hibrit metin iş akışı.
- **Qwen/Qwen3-30B-A3B**: Uzmanların Karışımı (MoE) iş akışı.
- **Qwen/Qwen3-Coder-30B-A3B-Instruct**: Kod odaklı MoE iş akışı.
- **Qwen/Qwen3.6-35B-A3B**: MACaQ ve MACaQ-R desteği.
- **allenai/OLMoE-1B-7B-0125-Instruct**: MoE iş akışı.
- **Qwen/Qwen3-Next-80B-A3B-Instruct**: MoE iş akışı.
- **Qwen/Qwen3.8-Flash-Next**: Modele özgü tarif (recipe).

## Standart llama.cpp İle MACaQ-R

**MACaQ-R**, kuantize edilmiş bir GGUF dosyasındaki ağırlık kodlarını yerel formatları ve blok ölçeklerini koruyarak iyileştirir. Üretilen GGUF modelleri herhangi bir ek yama gerektirmeden standart bir `llama.cpp` kurulumuyla doğrudan çalışır.

**Qwen3.6-35B-A3B** modeli üzerinde FP16 referansına göre KL ıraksaması (KL divergence - düşük olması daha iyidir) karşılaştırması:
- **Unsloth UD-Q4_K_XL**: 22.36 GB boyut, **0.015731** KL skoru.
- **MACaQ-R Q4_K_XL**: 22.36 GB boyut, **0.013367** KL skoru.

Geliştiriciler, kuantize edilmiş bir MoE GGUF dosyasını ve orijinal kaynak modelini kullanarak `llamacpp/macaq.py refine` komutuyla kendi optimize edilmiş MACaQ-R modellerini kolayca üretebilir ve yerel çıkarım kalitesini artırabilirler.

---

**Kaynak:** Hacker News (https://github.com/huawei-csl/MACaQ)
**Yayıncı:** [Edumints Blog](https://blog.edumints.com) · Alıntılarken bu URL'ye bağlantı verin: https://blog.edumints.com/huawei-yerel-cikarim-icin-dahili-kuantizasyon-araci-macaq-u-yayinladi