Büyük Dil Modellerinde Dikkat Mekanizmasının Evrimi: Mekanizmalar, Ödünleşimler ve Yükselen Eğilimler

Öz-dikkat (self-attention) mekanizması, büyük dil modellerinin (LLM) girdi bağlamına sorguya dayalı, ayrıntılı ve doğrudan erişmesini sağlayan ana bileşendir. Ancak tüm belirteçlerin birbiriyle eşleştiği yoğun etkileşimler; karesel ($O(N^2)$) karmaşıklıkta bir ön doldurma (prefill) hesaplama maliyeti yaratır ve bağlam uzunluğu arttıkça doğrusal olarak büyüyen devasa bir anahtar-değer (KV) önbelleği gerektirir. Bu hesaplama ve bellek darboğazları; açık bellek sıkıştırması, seyrek erişim (sparse access), yinelemeli durum inşası (recurrent state construction), yapılandırılmış durum dinamikleri ve heterojen mekanizma bileşimlerini kapsayan kapsamlı bir araştırma alanını ortaya çıkarmıştır.

Beş Boyutlu Bellek Çerçevesi

Bu çalışma, söz konusu mimari gelişmeleri tek bir hesaplama modeline zorlamadan, modellerin içsel "bağlamsal belleği" olarak konumlandırmakta ve literatürü beş boyutlu bir analitik çerçeveyle ele almaktadır:

Bellek Temsili (Memory Representation): Hangi bağlamsal bilginin saklandığı ve temsil edildiği.
Bellek Güncelleme (Memory Update): Yeni token'lar geldikçe temsilin zaman içinde nasıl değiştiği.
Erişim (Access): Hangi bellek öğelerinin sorgulanabilir olduğu.
Okuma (Readout): Uygun bellek birimlerinin hangi mekanizmayla okunduğu.
Entegrasyon (Integration): Okunan bağlamsal temsillerin model çıktılarını nasıl şekillendirdiği.

Mimari Evrim ve Temel Bulgular

14 büyük model soyundan gelen 59 sürüm seviyesindeki kayıt ve 11 yüksek başarımlı açık ağırlıklı uç nokta analiz edildiğinde üç temel mimari dönüşüm öne çıkmaktadır:

Açık Bellek ve Yinelemeli Durum Yakınsaması: Açık bellek (explicit-memory) ve yinelemeli durum (recurrent-state) yöntemleri ayrı arayüzlerini korusa da giderek örtüşen bellek işlevlerini kontrol etmektedir. Yazılım geliştiriciler için bu durum, çıkarım süreçlerinde bellek ayak izi ile hesaplama esnekliğini dengeleyen hibrit mimarilerin önemini artırmaktadır.
Ağ Derinliği Boyunca Heterojen Koordinasyon: Heterojen mimariler ağ derinliği boyunca koordine olmaktadır. Katman bazlı bileşim, tamamlayıcı bellek işlemeyi farklı temsil aşamalarına dağıtırken; katmanlar arası yeniden kullanım (cross-layer reuse), seçilmiş bellek ve yönlendirme çıktılarını ileriye taşır. Böylece derinlik, bağlamsal belleğin inşa edilip yönetildiği aktif bir boyuta dönüşür.
Durum Bilgisi İçeren Çok Boyutlu Bellek Yönlendirme: Kalıcı bellek; zamansal kapsam, ağ derinliği, alt katman türü ve temsil ayrıntı düzeyi boyunca organize edilmektedir. Eşgüdümlü Seyrek Yazma (Sparse Write) ve Seyrek Okuma (Sparse Read) mekanizmaları neyin saklanacağını ve her sorguya neyin katkı sunacağını belirler.

Yazılım Geliştirme Açısından Pratik Çıkarımlar

Sonuç olarak, verimli dizi mimarisi tasarımı artık izole bir Dikkat operatörünün optimizasyonundan ziyade, model içi bağlamsal belleğin organizasyonu, yaşam döngüsü ve seçici kullanımına odaklanmaktadır. Üretim ortamında LLM servis eden mühendisler için bu analiz; KV önbellek tüketimini düşürmek, prefill gecikmelerini azaltmak ve uzun bağlam pencerelerini ekonomik ölçeklemek adına salt donanım gücüne değil, katmanlar arası akıllı bellek hiyerarşisi sunan modern heterojen mimarilere yönelmenin kritik olduğunu göstermektedir.

[Orijinal kaynağa buradan ulaşabilirsiniz.](https://huggingface.co/papers/2609.39661)

Bu konuyu derinlemesine öğrenmek isterseniz: Ölçeklendirme ve Optimizasyon modülüne göz atın.