İhtiyaca Göre Hassasiyet: Küçük Yerel Modellerde Belirsiz Üretim Adımlarında Ağırlık Bitlerini Artırmak

Dinamik Bit Tahsisi ve Çalışma Mantığı#

Yerel model çıkarımında genellikle tüm metin üretimi boyunca tek bir ağırlık hassasiyeti sabitlenir. Yeni yaklaşım ise ağırlıkları 8-bit olarak saklayıp üretimi en üst 4-bit ile yürütüyor ve yalnızca düşük hassasiyetli çıktı dağılımı belirsiz göründüğünde ilgili adımı 8-bit ile tekrarlıyor. Belirsizlik tespiti, entropinin belirli bir eşiği aşmasına veya en yüksek olasılıklı iki seçenek arasındaki farkın (margin) daralmasına dayanıyor. Simüle edilmiş nicemleme (quantization) kullanan bu deney, Qwen3-0.6B modeli ve GSM8K veri seti üzerinde çalışıyor. Maliyet ise token başına okunan ağırlık baytı cinsinden ölçülüyor.

• Sabit yerine esnek bellek okuması: Her adımda 8-bit ağırlık okumak yerine varsayılan olarak 4-bit kullanmak, yerel donanımda bellek bant genişliği darboğazını hafifletir.
• Belirsizlik tetikleyicileri: Model emin olduğunda 4-bit yeterlidir. Entropi yükseldiğinde ya da ilk iki token adayı birbirine çok yaklaştığında 8-bit ağırlıklara geçiş yapılır.

Yeniden Oynatılan Adımlar ve Canlı Deney Sonuçları#

Yeniden oynatılan 36.724 üretim adımında, düşük hassasiyetli geçişin entropisi argmax değişimlerini 0,93 AUC skoruyla sıralıyor. Yüzde 15'lik bir üst seviyeye çıkma (escalation) bütçesinde entropi kapısı değişimlerin yüzde 78'ini, fark (margin) kapısı ise yüzde 94'ünü yakalıyor. Aynı orandaki rastgele bir kapının beklenen yakalama oranı ise hesaplanan beklentiye göre yalnızca yüzde 15'te kalıyor.

Canlı çalıştırılan 150 problemde tamamen yüksek hassasiyet (all-high) yüzde 64,0, tamamen düşük hassasiyet (all-low) ise yüzde 55,3 başarı elde ediyor (McNemar p=0,053). Yüzde 16 yükseltme oranına sahip entropi kapısı, tamamen yüksek hassasiyetli ağırlık baytlarının 0,87'sini kullanarak yüzde 62,7 skora ulaşıyor. Eşleştirilmiş fark yüksek hassasiyete göre -1,3 (-8,0 ile +5,3 arası) puan, düşük hassasiyete göre +7,3 (+0,0 ile +14,7 arası) puan (p=0,080) olduğundan canlı veriler bu kapıyı iki uçtan da istatistiksel olarak ayırmıyor. Aynı maliyet modelinde doğrulanmış spekülatif üretim (verified speculation), benzer bayt tüketimiyle sıfır KL ıraksamasına ulaşıyor. Canlı rastgele kontrol, düşünme modu aşama kuralı, ikinci bir model ve canlı KL ölçümleri ise bu çalışmada çalıştırılmadı.

Geliştiriciler İçin Pratik Çıkarımlar#

Ölçeklendirme ve Optimizasyon ile Edge Runtime ve Production Optimizasyonu süreçlerinde çalışan mühendisler için bu bulgular önemli ipuçları barındırıyor. Küçük yerel modellerde her token için aynı hesaplama maliyetini ödemek zorunda değilsiniz.

• Fark (margin) kapısını tercih edin: Çevrimdışı analizde en yüksek iki olasılık arasındaki farkı izlemek (%94 yakalama), tam dağılım entropisini hesaplamaktan (%78 yakalama) hem daha isabetli hem de hesaplama açısından daha ucuzdur.
• Bellek düzenini (layout) bit dilimlemeye göre kurgulayın: Ağırlıkları 8-bit saklayıp ilk geçişte üst 4-biti okumak, ek bellek kopyası yaratmadan aynı ağırlık tensörü üzerinden iki farklı hassasiyet sunar.
• Spekülatif üretimle kıyaslayın: Benzer bellek okuma bütçesinde doğrulanmış spekülatif üretim sıfır KL kaybı sağladığından, üretim ortamına geçmeden önce kendi donanımınızda her iki yöntemin gecikme sürelerini test edin.
• İstatistiksel örneklem büyüklüğüne dikkat edin: 150 soruluk GSM8K alt kümesi yönelim gösterse de p=0,080 değeri kararlı bir üretim kararı için daha geniş test setlerine ihtiyaç duyulduğunu kanıtlıyor.