MACaQ: Düşük Hassasiyetli Ağırlıklar ve Aktivasyonlar İçin Hızlı, Modelden Bağımsız Kalibre Edilmiş Kuantizasyon

Giriş ve Temel Sorun#

Yapay sinir ağlarında ağırlık ve aktivasyon kuantizasyonu (weight-activation quantization), çıkarım (inference) aşamasındaki bellek ve hesaplama maliyetlerini önemli ölçüde azaltır. Ancak son dönemde geliştirilen yöntemler, genellikle maliyetli optimizasyon süreçleri ve taban dönüşümlerinin (basis transforms) katmanlar arasında mimariye özgü şekilde yayılmasını gerektirir. Bu durum, farklı model mimarilerine geçişi zorlaştırır ve mühendislik maliyetini artırır.

MACaQ Mimarisinin Çalışma Prensibi#

MACaQ, her doğrusal (linear) katmanı birbirinden bağımsız olarak ele alan, eğitim sonrası (post-training quantization - PTQ) bir MXFP4 W4A4 kuantizasyon yöntemidir. Sistemin temel işleyiş adımları şunlardır:

• Çevrimiçi Dönüşüm ve Ağırlık Emilimi: MACaQ, her katmanın aktivasyonlarına çevrimiçi (online) olarak kanal başına ölçeklendirme (per-channel scale) ve blok-Hadamard dönüşümü (block-Hadamard transform) uygular. Buna karşılık gelen ters dönüşümleri ise doğrudan katman ağırlıklarının içine soğurur.
• Akış (Streaming) Tabanlı Uygulama: Dönüşümlerin çevrimiçi tutulması, katmanlar arası bağımlılıkları tamamen ortadan kaldırır. Böylece kuantizasyon işlemi sırasında bellekte aynı anda yalnızca tek bir katmanın bulunması yeterli olur ve basit bir akış (streaming) uygulaması mümkün hale gelir.
• Flip-Refinement (Ters Çevirme İyileştirmesi): En yakına yuvarlama (round-to-nearest) kuantizasyonunun ötesine geçmek için Hessian duyarlı bir koordinat inişi (coordinate-descent) prosedürü olan Flip-Refinement tanıtılmıştır. Bu yöntem, bireysel FP4 kodlarını açgözlü (greedy) bir yaklaşımla bitişik temsil edilebilir değerlere taşır.

Performans Sonuçları ve Ölçeklenebilirlik#

MACaQ, teorik avantajlarını üretim ortamı metrikleriyle de kanıtlamaktadır:

• Düşük Çıkarım Ek Yükü: Aktivasyon dönüşümlerini çıkarım (inference) anında çalıştırmasına rağmen, vLLM üzerinde Qwen3-32B modelinde saf MXFP4'e kıyasla uçtan uca yalnızca %2,3 ek yük (overhead) oluşturur.
• Hız ve Doğruluk Üstünlüğü: DuQuant++ ve MR-GPTQ yöntemlerinden daha düşük şaşkınlık (perplexity) değerlerine ulaşır. Ayrıca Llama-3-8B modelinde bu yöntemlerin en iyi perplexity skorunu 11 kat daha kısa kuantizasyon süresinde yakalar.
• Mimari Bağımsızlık ve Düşük Bellek Tüketimi: Katman-yerel (layer-local) tasarımı sayesinde mimariye özgü hiçbir değişiklik yapılmadan bir görüntü difüzyon modeline doğrudan uygulanabilmiştir. Ayrıca 122 milyar (122B) parametreli devasa bir modelin kuantizasyonu, yalnızca 32.5 GB GPU RAM kullanılarak 64 dakika içinde tamamlanmıştır.

Yazılım Geliştirme ve Pratik Çıkarımlar#

Edumints Ölçeklendirme ve Optimizasyon perspektifinden bakıldığında, MACaQ üretim ortamında büyük dil ve difüzyon modelleri dağıtan mühendisler için kritik engelleri kaldırır:

• Donanım Darboğazlarını Aşma: Bellekte tek bir katman tutarak çalışabilmesi, 100B+ parametreli modellerin devasa GPU kümelerine ihtiyaç duymadan tek bir kurumsal GPU (örneğin 32.5 GB VRAM ile) üzerinde kuantize edilebilmesini sağlar.
• Hızlı CI/CD ve MLOps Entegrasyonu: Kuantizasyon süresinin 11 kat kısalması ve mimariye özel kod uyarlaması gerektirmemesi, yeni modellere geçiş sürecini saatlerden dakikalara indirir.
• vLLM Uyumluluğu: Yalnızca %2,3'lük gecikme farkıyla W4A4 seviyesinde bellek tasarrufu sunması, yüksek trafikli servislerde maliyet/performans oranını doğrudan optimize eder.