Kuantizasyon Farkındalıklı İyileştirme (QAH): 4-Bit Sıkıştırılmış Modelin 16-Bit Orijinalini Geride Bırakması

Büyük dil modellerini (LLM) küçültmek neredeyse her zaman performans kaybını beraberinde getirir. Günümüz standart üretim mimarilerinde yaygın verimlilik reçetesi iki aşamadan oluşur: Önce katman, kafa veya nöronları eksilterek mimariyi yapısal olarak sıkıştırmak, ardından bellek ve hesaplama maliyetini düşürmek için ağırlıkları 4-bite kuantize etmek. Ancak bu iki adım birlikte uygulandığında; akıl yürütme, matematiksel problem çözme ve kod üretimi gibi kritik yeteneklerde sistematik bozulmalara yol açar. Bu nedenle gpt-oss, NVIDIA Nemotron ailesi ve Hypernova 60B gibi açık ağırlıklı modeller, üretime girmeden önce "iyileştirme" (healing) adı verilen bir kurtarma adımı kullanır.

Yeni araştırma, yalnızca kuantizasyondan değil yapısal sıkıştırmadan da geçmiş modellerde bu iyileştirme adımının nasıl en doğru şekilde kurgulanacağını sorguluyor ve Quantization-Aware Healing (QAH) yöntemini tanıtıyor. GPT-OSS 120B modelinin 60B parametreye sıkıştırılıp MXFP4 formatında kuantize edildiği senaryoda QAH; 9 kıyaslama testinin 7'sinde modelin kendi tam hassasiyetli (bfloat16) sürümünü geride bırakmasını sağlıyor. 4-bit model hem daha az kaynak tüketiyor hem de türetildiği temel modelden daha yüksek doğruluk sunarak geleneksel 4-bit/16-bit performans dengesini tersine çeviriyor.

Mevcut İyileştirme Yöntemleri Neden Yetersiz Kalıyor?

Mevcut verimlilik hatlarının çoğu üç temel adımı izler: mimariyi sıkıştırma, sıkıştırılmış ağırlıkları kuantize etme ve hasarı iyileştirme. Yöntemler arasındaki temel ayrım bu son iyileştirme adımında ortaya çıkar:

Kuantizasyon Farkındalıklı Eğitim (QAT): İleri geçişe (forward pass) sahte kuantizasyon operatörleri yerleştirir ve modelin düşük hassasiyeti tolere etmesi için görev kaybı (task loss) üzerinden ince ayara devam eder. Ancak pratikte bu durum; denetimli ince ayar (SFT), RLHF ve ajan odaklı ayarlama gibi maliyetli süreçlerin gürültülü bir geçişle tekrarlanması anlamına gelir. Süreç hem aşırı hesaplama maliyeti yaratır hem de optimum noktanın ötesine geçildiğinde kararsızlaşabilir.
Kuantizasyon Farkındalıklı Damıtma (QAD): Görev kaybı yerine, dondurulmuş tam hassasiyetli bir öğretmeni, logit çıktıları üzerindeki KL-ıraksama kaybı (KL-divergence loss) ile kuantize edilmiş öğrenciye doğrudan damıtır. Yalnızca kuantizasyon yapıldığında tam hassasiyetli bir öğretmen modeli bulunduğu için başarılıdır; ancak katman ve nöronların budandığı yapısal sıkıştırmada bu varsayım çöker, çünkü küçük mimarinin bağımsız eğitilmiş tam hassasiyetli bir karşılığı yoktur.

Yazılım Geliştirme ve Üretim İçin Pratik Çıkarımlar

Maliyet ve Kalite Takasının Dönüşümü: QAH yaklaşımı, 4-bit modellerin yalnızca bir donanım tasarrufu tavizi olmadığını; doğru iyileştirme adımlarıyla orijinal 16-bit modellerden daha yüksek doğruluk sunabileceğini kanıtlamaktadır.
Optimizasyon Hattı Tasarımı: Üretim ortamlarında büyük modelleri küçültürken doğrudan QAT maliyetine katlanmak yerine, mimari budama ve kuantizasyon etkilerini birlikte ele alan odaklı iyileştirme süreçleri tercih edilmelidir.

Orijinal kaynağa buradan ulaşabilirsiniz.

Bu konuyu derinlemesine öğrenmek isterseniz: Ölçeklendirme ve Optimizasyon modülüne göz atın.