---
title: "Muir: Duyarlılık Odaklı Geçitleme ve Uyumlu Filtre Okuması ile Doğrusal Dikkat Mekanizması"
url: https://blog.edumints.com/muir-duyarlilik-odakli-gecitleme-ve-uyumlu-filtre-okumasi-ile-dogrusal
category: "LLM"
date: 2026-11-08T08:07:55.943Z
publisher: Edumints Blog
lang: tr-TR
source_name: "Hugging Face Papers"
source_url: https://huggingface.co/papers/2611.08376
---

# Muir: Duyarlılık Odaklı Geçitleme ve Uyumlu Filtre Okuması ile Doğrusal Dikkat Mekanizması

## Doğrusal Dikkat ve Gated DeltaNet-2 Yaklaşımındaki Sınırlar

Doğrusal dikkat (**linear attention**) mimarileri, bağlam bilgisini sabit boyutlu bir anahtar-değer (**key-value**) durum matrisine sıkıştırarak eğitim süresini doğrusal zamana indirger ve çıkarım (**inference**) aşamasında sabit bellek kullanımı sağlar. **Gated delta-rule** tabanlı modeller, yeni bir değer yazmadan önce mevcut durumu sönümlendirir (**decay**) ve gelen anahtara ait tahmini siler. **Gated DeltaNet-2 (GDN-2)** bu yapıyı kanal bazlı sönümleme ve ayrıştırılmış, tam ranklı (**full-rank**) silme (**erase**) ile yazma (**write**) geçitleri kullanarak genelleştirir.

Ancak yapılan analizler, durum güncellemelerinin silme işlemine kıyasla yazma işlemine çok daha duyarlı olduğunu ortaya koymaktadır:
- **Seyrek Anahtar Enerjisi ve Düşük Ranklı Silme:** Anahtar aktivasyonu ve birim normalizasyonu, anahtar enerjisini kanalların seyrek bir alt kümesinde yoğunlaştırır. Buna karşın değer yazma işlemleri tüm kanalları ölçeklendirir; bu nedenle silme geçidi çok daha düşük bir rank ile parametrelendirilebilir.
- **Yavaş Sönümlenen Satırların Baskınlığı:** Yavaş sönümlenen durum satırları, hızlı sönümlenen satırlara göre çok daha büyük normlar biriktirir. Bu durum, ağırlıklandırılmamış okuma (**unweighted readout**) işlemlerini domine eder ve girişimi (**interference**) bastırmak için yazma anında daha agresif bir silme yapılmasını zorunlu kılar.

## Muir Mimarisi ve Getirdiği Yenilikler

Bu analiz doğrultusunda geliştirilen **Muir**, mevcut darboğazları aşmak için mimari düzeyde dört temel yenilik sunar:
- **Duyarlılık Odaklı Düşük Ranklı Projeksiyon:** Tüm geçitleri duyarlılığa göre tahsis edilmiş düşük ranklı tek bir projeksiyonda birleştirir.
- **Uyumlu Filtre Okuma Geçidi (Matched-Filter Readout Gate):** Durum satırlarını uyumlu bir filtre okuma geçidi ile yeniden ağırlıklandırarak norm dengesizliğini giderir.
- **Daha Geniş İleri Beslemeli Ağ (FFN):** Geçit sıkıştırmasından tasarruf edilen parametreleri daha geniş bir **feed-forward network** yapısına yeniden yatırır.
- **Kararlı Paralel Güncelleme Algoritması:** Geniş matris birimlerini doyurmak için gereken büyük parça (**chunk**) boyutlarında standart parça bazlı algoritmalar sayısal olarak kararsızlaştığından, kararlı ve verimli eğitim için özel bir paralel güncelleme mekanizması tasarlanmıştır.

## Performans Sonuçları ve Mühendislik Çıkarımları

**166M ile 1.34B** parametre ölçekleri arasında değerlendirilen **Muir**, hem doğruluk hem de hesaplama verimliliğinde çarpıcı sonuçlar üretmektedir:
- **Perplexity ve Doğruluk Artışı:** **GDN-2** modeline kıyasla **perplexity** değerini **%1.8-%2.0**, standart **Transformer** mimarisine kıyasla ise **%2.5-%3.6** oranında düşürür. Sağduyu (**commonsense**) doğruluğunu **1.9 puana** kadar artırır ve çıkarımsal geri çağırma (**extractive recall**) performansını iyileştirir.
- **Uzun Bağlam ve Ekstrapolasyon Yeteneği:** **1.34B** ölçeğinde çok adımlı (**multi-hop**) ve çoklu iğne (**multi-needle**) geri çağırma testlerinde her iki temel modeli geride bırakır. **4K** eğitim uzunluğundan **10M token** akışına **2.560 kat** ekstrapolasyon yaparak **perplexity** kayması olmadan çalışır ve statik okuma ile **1M token** seviyesine kadar **%100'e yakın passkey retrieval** başarısını korur.
- **Eğitim ve Çıkarım Hızı:** **GDN-2** ile aynı işlem hacmini (**throughput**) korurken, **100B token** doğrulama kaybına **1.2 kat** daha hızlı ulaşır ve **32K** bağlam uzunluğunda **Transformer** mimarisinden **2.7 kat** daha hızlı eğitilir.

**Pratik Çıkarımlar:** Yazılım mühendisleri ve model geliştiriciler için **Muir**, parametre bütçesini her bileşene eşit dağıtmak yerine duyarlılık analizine göre tahsis etmenin önemini gösterir. Donanım hızlandırıcılarında büyük **chunk** boyutlarıyla çalışırken sayısal kararlılığı koruyan paralel algoritmalar kullanmak ve sabit bellekli **linear attention** yapılarını tercih etmek, milyonlarca tokenlık uzun bağlamlı üretim sistemlerinde maliyet ve gecikmeyi radikal biçimde düşürür.



---

Bu konuyu derinlemesine öğrenmek isterseniz: [Ölçeklendirme ve Optimizasyon](https://edumints.com/kesfet/embedding-ve-reranking-modelleri-productionda-depl-blu6) modülüne göz atın.

---

**Kaynak:** Hugging Face Papers (https://huggingface.co/papers/2611.08376)
**Yayıncı:** [Edumints Blog](https://blog.edumints.com) · Alıntılarken bu URL'ye bağlantı verin: https://blog.edumints.com/muir-duyarlilik-odakli-gecitleme-ve-uyumlu-filtre-okumasi-ile-dogrusal