---
title: "Complex KDA: Kimi Delta Attention Mimarisinin İfade Gücünü Anlamak ve Geliştirmek"
url: https://blog.edumints.com/complex-kda-kimi-delta-attention-mimarisinin-ifade-gucunu-an-nnwuthzo
category: "Yazılım"
date: 2026-09-22T15:09:59.952Z
publisher: Edumints Blog
lang: tr-TR
source_name: "hfpapers"
source_url: https://huggingface.co/papers/2609.24797
---

# Complex KDA: Kimi Delta Attention Mimarisinin İfade Gücünü Anlamak ve Geliştirmek

## Giriş ve Problem Tanımı
Delta kuralına dayalı lineer yinelemeli sinir ağları (**Linear RNNs**), dizisel verilerin modellenmesinde yüksek hesaplama verimliliği ve sabit çıkarım belleği sunar. Ancak düşük rankli (low-rank) düzeltmeler içeren lineer durum güncellemeleri, bu modellerin ifade gücünü (**expressivity**) önemli ölçüde sınırlar. Literatürdeki önceki çalışmalar, tek bir tekrarlayan adımda iki delta kuralı geçişini ardışık bağlamanın iki boyutlu rotasyonları (**2D rotation**) modelleyebildiğini göstermiştir. Ne var ki bu yaklaşım, durum matrisinin rank derecesini ve güncelleme başına düşen hesaplama maliyetini artırmaktadır.

## Complex KDA (CKDA) Mimarisi ve Parametre Genişlemesi
Araştırma, **Kimi Delta Attention (KDA)** mimarisinin tek bir delta kuralı dönüşümünü kanal bazlı kapısının sağladığı ikinci bir yansıma (**reflection**) ile birleştirerek rank artışına gerek kalmadan 2D rotasyonları gerçekleştirebildiğini ortaya koymaktadır. Bu mekanizmanın çalışması için KDA'nın parametre aralıkları iki temel yönde genişletilmiştir:
- **Kapı Aralıkları:** Kanal bazlı kapı değerlerinin `[-1, 1]` aralığında çalışmasına izin verilmesi,
- **Delta Katsayısı:** Delta kuralı katsayısı $\beta$'nın `[0, 2]` aralığına genişletilmesi.

Bu iki genişletmenin bir araya getirilmesiyle oluşturulan modele **Complex KDA (CKDA)** adı verilmiştir. CKDA; KDA'nın sayısal kararlılığını ve donanım verimliliğini korur. Geçiş matrisleri köşegen-artı-rank-bir (**diagonal-plus-rank-one**) ve genişlemeyen (non-expansive) yapıda kalırken, **DeltaProduct_2** modelinin ulaştığı durum takibi ifade gücüne tek bir adımın işlem maliyetiyle ulaşır.

## Teorik Çıkarımlar ve Deneysel Başarımlar
Makale kapsamında CKDA mimarisinin matematiksel ifade gücü ayrıntılı olarak analiz edilmiş ve şu temel sonuçlar kanıtlanmıştır:
- Her ortogonal köşegen-artı-rank-bir matrisin tam olarak bir CKDA geçiş matrisine karşılık geldiği ispatlanmıştır.
- Tek bir CKDA katmanı, SO(3) rotasyon grubunun herhangi bir alt grubuna izomorfik olan tüm sonlu grupları başarıyla takip edebilmektedir.
- Durum takibi gerektiren birçok senaryoda CKDA, diğer köşegen-artı-rank-bir Lineer RNN modellerine kıyasla bir katman daha az kullanarak aynı işlevi yerine getirir.
- Uzunluk ekstrapolasyonunda (**length extrapolation**); $S_3$ ve $S_4$ permütasyon grupları ile periyodik ses devam ettirme görevlerinde test edilen tüm KDA konfigürasyonları arasında en güçlü performansı sergilemiştir.
- Dil modelleme testlerinde CKDA; standart Transformer modellerini ve diğer lineer RNN alternatiflerini geride bırakmış, güçlü KDA taban çizgisiyle başa baş sonuçlar vererek dikkat çekici bir ölçeklenme davranışı göstermiştir.

## Yazılım Geliştirme Açısından Pratik Çıkarımlar
- **Bellek ve Donanım Optimizasyonu:** Transformer modellerindeki $O(N^2)$ dikkat ve KV-cache bellek darboğazına karşın CKDA, donanım dostu köşegen-artı-rank-bir yapısıyla $O(1)$ çıkarım karmaşıklığı sunarak bellek kısıtlı ortamlarda yüksek verim sağlar.
- **Algoritmik Durum Takibi:** Modelin matematiksel grupları ve rotasyonları daha az katmanla izleyebilmesi, yazılım projelerinde durum makinelerinin (state machine) ve mantıksal kuralların dil modelleriyle daha kararlı simüle edilmesine imkan tanır.
- **Açık Kaynak Entegrasyonu:** Geliştiriciler açık kaynaklı kod tabanına [GitHub](https://github.com/OpenEuroLLM/ComplexKDA) reposundan ve eğitilmiş model ağırlıklarına [Hugging Face](https://huggingface.co/collections/openeurollm/complexkda) koleksiyonundan doğrudan erişerek kendi mimarilerine entegre edebilir.

Orijinal makaleye [buradan](https://huggingface.co/papers/2609.24797) ulaşabilirsiniz.

---

**Kaynak:** [hfpapers](https://huggingface.co/papers/2609.24797)
**Yayıncı:** [Edumints Blog](https://blog.edumints.com) · Alıntılarken bu URL'ye bağlantı verin: https://blog.edumints.com/complex-kda-kimi-delta-attention-mimarisinin-ifade-gucunu-an-nnwuthzo