Muir: Duyarlılık Odaklı Geçitleme ve Uyumlu Filtre Okuması ile Doğrusal Dikkat Mekanizması

Doğrusal Dikkat ve Gated DeltaNet-2 Yaklaşımındaki Sınırlar#

Doğrusal dikkat (linear attention) mimarileri, bağlam bilgisini sabit boyutlu bir anahtar-değer (key-value) durum matrisine sıkıştırarak eğitim süresini doğrusal zamana indirger ve çıkarım (inference) aşamasında sabit bellek kullanımı sağlar. Gated delta-rule tabanlı modeller, yeni bir değer yazmadan önce mevcut durumu sönümlendirir (decay) ve gelen anahtara ait tahmini siler. Gated DeltaNet-2 (GDN-2) bu yapıyı kanal bazlı sönümleme ve ayrıştırılmış, tam ranklı (full-rank) silme (erase) ile yazma (write) geçitleri kullanarak genelleştirir.

Ancak yapılan analizler, durum güncellemelerinin silme işlemine kıyasla yazma işlemine çok daha duyarlı olduğunu ortaya koymaktadır:

• Seyrek Anahtar Enerjisi ve Düşük Ranklı Silme: Anahtar aktivasyonu ve birim normalizasyonu, anahtar enerjisini kanalların seyrek bir alt kümesinde yoğunlaştırır. Buna karşın değer yazma işlemleri tüm kanalları ölçeklendirir; bu nedenle silme geçidi çok daha düşük bir rank ile parametrelendirilebilir.
• Yavaş Sönümlenen Satırların Baskınlığı: Yavaş sönümlenen durum satırları, hızlı sönümlenen satırlara göre çok daha büyük normlar biriktirir. Bu durum, ağırlıklandırılmamış okuma (unweighted readout) işlemlerini domine eder ve girişimi (interference) bastırmak için yazma anında daha agresif bir silme yapılmasını zorunlu kılar.

Muir Mimarisi ve Getirdiği Yenilikler#

Bu analiz doğrultusunda geliştirilen Muir, mevcut darboğazları aşmak için mimari düzeyde dört temel yenilik sunar:

• Duyarlılık Odaklı Düşük Ranklı Projeksiyon: Tüm geçitleri duyarlılığa göre tahsis edilmiş düşük ranklı tek bir projeksiyonda birleştirir.
• Uyumlu Filtre Okuma Geçidi (Matched-Filter Readout Gate): Durum satırlarını uyumlu bir filtre okuma geçidi ile yeniden ağırlıklandırarak norm dengesizliğini giderir.
• Daha Geniş İleri Beslemeli Ağ (FFN): Geçit sıkıştırmasından tasarruf edilen parametreleri daha geniş bir feed-forward network yapısına yeniden yatırır.
• Kararlı Paralel Güncelleme Algoritması: Geniş matris birimlerini doyurmak için gereken büyük parça (chunk) boyutlarında standart parça bazlı algoritmalar sayısal olarak kararsızlaştığından, kararlı ve verimli eğitim için özel bir paralel güncelleme mekanizması tasarlanmıştır.

Performans Sonuçları ve Mühendislik Çıkarımları#

166M ile 1.34B parametre ölçekleri arasında değerlendirilen Muir, hem doğruluk hem de hesaplama verimliliğinde çarpıcı sonuçlar üretmektedir:

• Perplexity ve Doğruluk Artışı: GDN-2 modeline kıyasla perplexity değerini %1.8-%2.0, standart Transformer mimarisine kıyasla ise %2.5-%3.6 oranında düşürür. Sağduyu (commonsense) doğruluğunu 1.9 puana kadar artırır ve çıkarımsal geri çağırma (extractive recall) performansını iyileştirir.
• Uzun Bağlam ve Ekstrapolasyon Yeteneği: 1.34B ölçeğinde çok adımlı (multi-hop) ve çoklu iğne (multi-needle) geri çağırma testlerinde her iki temel modeli geride bırakır. 4K eğitim uzunluğundan 10M token akışına 2.560 kat ekstrapolasyon yaparak perplexity kayması olmadan çalışır ve statik okuma ile 1M token seviyesine kadar %100'e yakın passkey retrieval başarısını korur.
• Eğitim ve Çıkarım Hızı: GDN-2 ile aynı işlem hacmini (throughput) korurken, 100B token doğrulama kaybına 1.2 kat daha hızlı ulaşır ve 32K bağlam uzunluğunda Transformer mimarisinden 2.7 kat daha hızlı eğitilir.

Pratik Çıkarımlar: Yazılım mühendisleri ve model geliştiriciler için Muir, parametre bütçesini her bileşene eşit dağıtmak yerine duyarlılık analizine göre tahsis etmenin önemini gösterir. Donanım hızlandırıcılarında büyük chunk boyutlarıyla çalışırken sayısal kararlılığı koruyan paralel algoritmalar kullanmak ve sabit bellekli linear attention yapılarını tercih etmek, milyonlarca tokenlık uzun bağlamlı üretim sistemlerinde maliyet ve gecikmeyi radikal biçimde düşürür.

---

Bu konuyu derinlemesine öğrenmek isterseniz: Ölçeklendirme ve Optimizasyon modülüne göz atın.