---
title: "MACaQ: Düşük Hassasiyetli Ağırlıklar ve Aktivasyonlar İçin Hızlı, Modelden Bağımsız Kalibre Edilmiş Kuantizasyon"
url: https://blog.edumints.com/macaq-dusuk-hassasiyetli-agirliklar-ve-aktivasyonlar-icin-hizli
category: "Makine Öğrenmesi"
date: 2026-11-11T15:05:56.065Z
publisher: Edumints Blog
lang: tr-TR
source_name: "Hugging Face Papers"
source_url: https://huggingface.co/papers/2611.10649
---

# MACaQ: Düşük Hassasiyetli Ağırlıklar ve Aktivasyonlar İçin Hızlı, Modelden Bağımsız Kalibre Edilmiş Kuantizasyon

## Giriş ve Temel Sorun

Yapay sinir ağlarında ağırlık ve aktivasyon kuantizasyonu (**weight-activation quantization**), çıkarım (inference) aşamasındaki bellek ve hesaplama maliyetlerini önemli ölçüde azaltır. Ancak son dönemde geliştirilen yöntemler, genellikle maliyetli optimizasyon süreçleri ve taban dönüşümlerinin (basis transforms) katmanlar arasında mimariye özgü şekilde yayılmasını gerektirir. Bu durum, farklı model mimarilerine geçişi zorlaştırır ve mühendislik maliyetini artırır.

## MACaQ Mimarisinin Çalışma Prensibi

**MACaQ**, her doğrusal (linear) katmanı birbirinden bağımsız olarak ele alan, eğitim sonrası (**post-training quantization - PTQ**) bir **MXFP4 W4A4** kuantizasyon yöntemidir. Sistemin temel işleyiş adımları şunlardır:

- **Çevrimiçi Dönüşüm ve Ağırlık Emilimi:** MACaQ, her katmanın aktivasyonlarına çevrimiçi (online) olarak kanal başına ölçeklendirme (**per-channel scale**) ve blok-Hadamard dönüşümü (**block-Hadamard transform**) uygular. Buna karşılık gelen ters dönüşümleri ise doğrudan katman ağırlıklarının içine soğurur.
- **Akış (Streaming) Tabanlı Uygulama:** Dönüşümlerin çevrimiçi tutulması, katmanlar arası bağımlılıkları tamamen ortadan kaldırır. Böylece kuantizasyon işlemi sırasında bellekte aynı anda yalnızca tek bir katmanın bulunması yeterli olur ve basit bir akış (streaming) uygulaması mümkün hale gelir.
- **Flip-Refinement (Ters Çevirme İyileştirmesi):** En yakına yuvarlama (**round-to-nearest**) kuantizasyonunun ötesine geçmek için **Hessian** duyarlı bir koordinat inişi (coordinate-descent) prosedürü olan **Flip-Refinement** tanıtılmıştır. Bu yöntem, bireysel **FP4** kodlarını açgözlü (greedy) bir yaklaşımla bitişik temsil edilebilir değerlere taşır.

## Performans Sonuçları ve Ölçeklenebilirlik

MACaQ, teorik avantajlarını üretim ortamı metrikleriyle de kanıtlamaktadır:

- **Düşük Çıkarım Ek Yükü:** Aktivasyon dönüşümlerini çıkarım (inference) anında çalıştırmasına rağmen, **vLLM** üzerinde **Qwen3-32B** modelinde saf MXFP4'e kıyasla uçtan uca yalnızca **%2,3** ek yük (overhead) oluşturur.
- **Hız ve Doğruluk Üstünlüğü:** **DuQuant++** ve **MR-GPTQ** yöntemlerinden daha düşük şaşkınlık (**perplexity**) değerlerine ulaşır. Ayrıca **Llama-3-8B** modelinde bu yöntemlerin en iyi perplexity skorunu **11 kat daha kısa** kuantizasyon süresinde yakalar.
- **Mimari Bağımsızlık ve Düşük Bellek Tüketimi:** Katman-yerel (layer-local) tasarımı sayesinde mimariye özgü hiçbir değişiklik yapılmadan bir görüntü difüzyon modeline doğrudan uygulanabilmiştir. Ayrıca **122 milyar (122B)** parametreli devasa bir modelin kuantizasyonu, yalnızca **32.5 GB GPU RAM** kullanılarak **64 dakika** içinde tamamlanmıştır.

## Yazılım Geliştirme ve Pratik Çıkarımlar

Edumints **Ölçeklendirme ve Optimizasyon** perspektifinden bakıldığında, MACaQ üretim ortamında büyük dil ve difüzyon modelleri dağıtan mühendisler için kritik engelleri kaldırır:

- **Donanım Darboğazlarını Aşma:** Bellekte tek bir katman tutarak çalışabilmesi, 100B+ parametreli modellerin devasa GPU kümelerine ihtiyaç duymadan tek bir kurumsal GPU (örneğin 32.5 GB VRAM ile) üzerinde kuantize edilebilmesini sağlar.
- **Hızlı CI/CD ve MLOps Entegrasyonu:** Kuantizasyon süresinin 11 kat kısalması ve mimariye özel kod uyarlaması gerektirmemesi, yeni modellere geçiş sürecini saatlerden dakikalara indirir.
- **vLLM Uyumluluğu:** Yalnızca %2,3'lük gecikme farkıyla W4A4 seviyesinde bellek tasarrufu sunması, yüksek trafikli servislerde maliyet/performans oranını doğrudan optimize eder.

---

**Kaynak:** Hugging Face Papers (https://huggingface.co/papers/2611.10649)
**Yayıncı:** [Edumints Blog](https://blog.edumints.com) · Alıntılarken bu URL'ye bağlantı verin: https://blog.edumints.com/macaq-dusuk-hassasiyetli-agirliklar-ve-aktivasyonlar-icin-hizli