---
title: "Dikkat Mekanizması İhtiyacınız Olan Şey Değil (Attention Is Not What You Need)"
url: https://blog.edumints.com/dikkat-mekanizmasi-ihtiyaciniz-olan-sey-degil-attention-is-not-what
category: "Yazılım"
date: 2026-10-26T08:07:28.759Z
publisher: Edumints Blog
lang: tr-TR
source_name: "Hacker News"
source_url: https://arxiv.org/abs/2512.19428
---

# Dikkat Mekanizması İhtiyacınız Olan Şey Değil (Attention Is Not What You Need)

## Öz-Dikkat Gerçekten Zorunlu mu?

Dizi modelleme (sequence modeling) dünyasında uzun süredir kabul gören temel bir varsayım yeniden sorgulanıyor: Güçlü bir performans ve akıl yürütme yeteneği için açık bir öz-dikkat (self-attention) mekanizması gerçekten gerekli mi? Zhang Chong tarafından Aralık 2025'te yayımlanan çalışma, standart çok başlı dikkat (multi-head attention) mekanizmasını bir tür **tensör yükseltme (tensor lifting)** işlemi olarak tanımlıyor. Bu süreçte gizli vektörler, ikili etkileşimlerin bulunduğu yüksek boyutlu bir uzaya eşleniyor ve öğrenme, bu yükseltilmiş tensörün gradyan inişi ile kısıtlanmasıyla ilerliyor. Ancak bu mekanizma son derece ifade gücü yüksek olsa da matematiksel olarak **opak (anlaşılması güç)** bir yapıya sahip; çünkü çok sayıda katmandan sonra modeli küçük bir açık değişmezler (invariants) ailesiyle tanımlamak oldukça zorlaşıyor.

## Grassmann Akışlarına Dayalı Dikkat-İçermeyen Mimari

Makale, yapılandırılmamış tensör uzayları yerine bilginin sonlu boyutlu bir manifold üzerinde işlendiği **Grassmann akışlarına (Grassmann flows)** dayalı alternatif bir mimari öneriyor. Bir $L \times L$ boyutunda dikkat matrisi oluşturmak yerine önerilen **Nedensel Grassmann (Causal Grassmann)** katmanı, bilgiyi çok ölçekli yerel pencereler üzerindeki düşük dereceli (low-rank) alt uzayların kontrollü deformasyonları yoluyla şu üç temel adımda yayıyor:

- **Doğrusal İndirgeme:** Token durumlarını (states) doğrusal olarak daha düşük bir boyuta indirger.
- **Geometrik Kodlama:** Yerel token çiftlerini, **Plücker koordinatları** aracılığıyla bir Grassmann manifoldu üzerinde iki boyutlu alt uzaylar olarak kodlar.
- **Kapılı Karıştırma (Gated Mixing):** Elde edilen bu geometrik özellikleri, kapılı bir karıştırma mekanizması üzerinden tekrar gizli durumlara (hidden states) kaynaştırır.

## Deneysel Sonuçlar ve Performans Karşılaştırması

Önerilen mimarinin performansı iki temel kıyaslama (benchmark) üzerinde test edilmiştir:

- **Wikitext-2 Dil Modelleme:** 13 ila 18 milyon parametreye sahip tamamen Grassmann tabanlı modeller, aynı boyuttaki Transformer modelleriyle kıyaslandığında doğrulama şaşkınlık (validation perplexity) değerlerinde yaklaşık **%10 ila %15** bandında rekabetçi bir yakınlık elde etmiştir.
- **SNLI Doğal Dil Çıkarımı:** DistilBERT üzerine yerleştirilen bir **Grassmann-Plücker başlığı (head)**, standart Transformer başlığını geride bırakarak doğrulama (validation) setinde **0.8550** (Transformer: 0.8545) ve test setinde **0.8538** (Transformer: 0.8511) doğruluk oranlarına ulaşmıştır.

## Yazılım Geliştirme ve Mühendislik Açısından Pratik Çıkarımlar

Bu araştırmanın yapay zeka mühendisleri ve sistem geliştiricileri için sunduğu temel çıkarımlar şunlardır:

- **Dizi Uzunluğunda Doğrusal Ölçeklenme:** Sabit derece (fixed rank) için Grassmann karıştırma işlemi, dizi uzunluğuna göre **doğrusal karmaşıklık ($O(L)$)** gösterir. Standart dikkat mekanizmasının karesel ($O(L^2)$) bellek ve işlem maliyeti düşünüldüğünde, bu yaklaşım uzun bağlamlı (long-context) sistemlerde ölçeklendirme ve optimizasyon darboğazlarını aşmak için önemli bir potansiyel taşır.
- **Hibrit Model Tasarımları:** SNLI sonuçlarının gösterdiği üzere, mevcut önceden eğitilmiş (pre-trained) modellerin sınıflandırma veya çıkarım katmanlarında standart dikkat başlıkları yerine geometrik/manifold tabanlı hafif başlıklar kullanmak, hem doğruluğu artırabilir hem de çıkarım (inference) maliyetini düşürebilir.
- **Yorumlanabilir Yapay Zeka:** Kara kutu tensör uzayları yerine değişmez (invariant) tabanlı geometrik yapıların kullanılması, sinirsel akıl yürütme süreçlerinin hata ayıklama (debugging) ve açıklanabilirlik süreçlerini daha yapılandırılmış bir zemine taşıyabilir.

---

**Kaynak:** Hacker News (https://arxiv.org/abs/2512.19428)
**Yayıncı:** [Edumints Blog](https://blog.edumints.com) · Alıntılarken bu URL'ye bağlantı verin: https://blog.edumints.com/dikkat-mekanizmasi-ihtiyaciniz-olan-sey-degil-attention-is-not-what