Kuantizasyon Belleği Bozduğunda: Düşük Hassasiyetli Zamansal Çıkarımda Tekrarlayan Durum Geri Yazımı

Giriş: Kuantizasyon ve Tekrarlayan Durum Dinamikleri

Derin öğrenme modellerinde kuantizasyon, çıkarım (inference) sürecindeki hesaplama ve bellek maliyetlerini düşürerek modelleri uç birimlerde verimli kılmak için en sık başvurulan optimizasyon yöntemlerinden biridir. İleri beslemeli ağlarda kuantizasyon kaynaklı yuvarlama hataları katman bazında sınırlı kalabilirken, tekrarlayan sinir ağlarında (RNN) kuantize edilmiş durum her adımda saklanır ve bir sonraki zaman adımına aktarılır. Bu nedenle durumu saklama kuralı sonraki tüm hesaplamaların seyrini kökten değiştirebilir. Bu çalışma, söz konusu mekanizmayı tekrarlayan durum geri yazımı (recurrent-state write-back) olarak adlandırmakta ve etkilerini biyolojik moleküler görüntüleme tekniği olan floresan ömür boyu görüntüleme için eğitilen kompakt bir GRU mimarisinde izole etmektedir.

4-Bit Kuantizasyon ve Bellek Kilitlenmesi

Modelin temel görevi, yüksek gürültülü zamansal floresan sinyallerinden kısa ömürlü ($\tau_1$) ve uzun ömürlü ($\tau_2$) bileşen parametrelerini kestirmektir. Eğitilmiş model sabit tutulup sürekli durum yayılımı yerine deterministik 4-bit durum depolaması uygulandığında şu kritik sonuçlar ortaya çıkmıştır:

Büyük Hata Artışı: Deterministik 4-bit durum saklama kuralı, kestirim hatalarını kısa ömürlü bileşen ($\tau_1$) için yaklaşık 70 kat, uzun ömürlü bileşen ($\tau_2$) için ise yaklaşık 300 kat artırmaktadır.
Yazma Eşiği Kilitlenmesi (Write Threshold): Başarısızlığın temel nedeni, modelin ürettiği küçük durum güncellemelerinin kuantizasyon yazma eşiğinin altında kalarak sıfırlanmasıdır. Model sürekli değişim önermesine rağmen depolanan durum neredeyse tamamen sabit kalmaktadır.
Hassasiyet Paradoksu: Yapılan hassasiyet taramaları (precision sweeps), durum hassasiyetini plansız şekilde artırmanın sabit bir tekrarlayan çözümün performansını paradoksal olarak daha da kötüleştirebileceğini göstermiştir. Kuantize durum arayüzüyle uyum, ancak eşleştirilmiş eğitimle (matched training) tam olarak öğrenilebilmektedir.
LSTM ve Hücre Durumu Duyarlılığı: Benzer başarısızlık bağımsız bir LSTM üzerinde de gözlenmiş; özellikle hücre durumunun (cell state), gizli duruma (hidden state) kıyasla kuantizasyon hatalarına karşı çok daha hassas olduğu doğrulanmıştır.

Çözüm Yöntemleri ve Pratik Çıkarımlar

Modeli sıfırdan yeniden eğitmeye gerek kalmadan bu bilgi kaybını telafi etmek ve doğruluğu geri kazanmak mümkündür:

Hata Geri Beslemesi (Error Feedback): Eşik altında kalan kuantizasyon artıklarını saklayarak bir sonraki adımın güncellemesine dahil eder.
Artık Bellek (Residual Memory): Kuantizasyon sırasında kaybolan durum bilgilerini zamansal akış boyunca güvenle taşır.
Yön Belleği (Direction Memory): Küçük ama sürekli aynı yönü gösteren güncellemelerin zamanla birikip eşiği aşmasını sağlar.

Geliştiriciler İçin Çıkarım: Düşük hassasiyetli zamansal çıkarım sistemleri tasarlayan mühendisler için yalnızca ağırlık kuantizasyonu yeterli değildir. Tekrarlayan durum-depolama arayüzü (state-storage interface), bellek donmalarını engellemek adına temel bir mimari bileşen olarak ele alınmalıdır.

[Orijinal kaynağa buradan ulaşabilirsiniz.](https://huggingface.co/papers/2609.04490)

Bu konuyu derinlemesine öğrenmek isterseniz: Ölçeklendirme ve Optimizasyon modülüne göz atın.