Complex KDA: Kimi Delta Attention Mimarisinin İfade Gücünü Anlamak ve Geliştirmek

Giriş ve Problem Tanımı

Delta kuralına dayalı lineer yinelemeli sinir ağları (Linear RNNs), dizisel verilerin modellenmesinde yüksek hesaplama verimliliği ve sabit çıkarım belleği sunar. Ancak düşük rankli (low-rank) düzeltmeler içeren lineer durum güncellemeleri, bu modellerin ifade gücünü (expressivity) önemli ölçüde sınırlar. Literatürdeki önceki çalışmalar, tek bir tekrarlayan adımda iki delta kuralı geçişini ardışık bağlamanın iki boyutlu rotasyonları (2D rotation) modelleyebildiğini göstermiştir. Ne var ki bu yaklaşım, durum matrisinin rank derecesini ve güncelleme başına düşen hesaplama maliyetini artırmaktadır.

Complex KDA (CKDA) Mimarisi ve Parametre Genişlemesi

Araştırma, Kimi Delta Attention (KDA) mimarisinin tek bir delta kuralı dönüşümünü kanal bazlı kapısının sağladığı ikinci bir yansıma (reflection) ile birleştirerek rank artışına gerek kalmadan 2D rotasyonları gerçekleştirebildiğini ortaya koymaktadır. Bu mekanizmanın çalışması için KDA'nın parametre aralıkları iki temel yönde genişletilmiştir:

Kapı Aralıkları: Kanal bazlı kapı değerlerinin [-1, 1] aralığında çalışmasına izin verilmesi,
Delta Katsayısı: Delta kuralı katsayısı $\beta$'nın [0, 2] aralığına genişletilmesi.

Bu iki genişletmenin bir araya getirilmesiyle oluşturulan modele Complex KDA (CKDA) adı verilmiştir. CKDA; KDA'nın sayısal kararlılığını ve donanım verimliliğini korur. Geçiş matrisleri köşegen-artı-rank-bir (diagonal-plus-rank-one) ve genişlemeyen (non-expansive) yapıda kalırken, DeltaProduct_2 modelinin ulaştığı durum takibi ifade gücüne tek bir adımın işlem maliyetiyle ulaşır.

Teorik Çıkarımlar ve Deneysel Başarımlar

Makale kapsamında CKDA mimarisinin matematiksel ifade gücü ayrıntılı olarak analiz edilmiş ve şu temel sonuçlar kanıtlanmıştır:

Her ortogonal köşegen-artı-rank-bir matrisin tam olarak bir CKDA geçiş matrisine karşılık geldiği ispatlanmıştır.
Tek bir CKDA katmanı, SO(3) rotasyon grubunun herhangi bir alt grubuna izomorfik olan tüm sonlu grupları başarıyla takip edebilmektedir.
Durum takibi gerektiren birçok senaryoda CKDA, diğer köşegen-artı-rank-bir Lineer RNN modellerine kıyasla bir katman daha az kullanarak aynı işlevi yerine getirir.
Uzunluk ekstrapolasyonunda (length extrapolation); $S_3$ ve $S_4$ permütasyon grupları ile periyodik ses devam ettirme görevlerinde test edilen tüm KDA konfigürasyonları arasında en güçlü performansı sergilemiştir.
Dil modelleme testlerinde CKDA; standart Transformer modellerini ve diğer lineer RNN alternatiflerini geride bırakmış, güçlü KDA taban çizgisiyle başa baş sonuçlar vererek dikkat çekici bir ölçeklenme davranışı göstermiştir.

Yazılım Geliştirme Açısından Pratik Çıkarımlar

Bellek ve Donanım Optimizasyonu: Transformer modellerindeki $O(N^2)$ dikkat ve KV-cache bellek darboğazına karşın CKDA, donanım dostu köşegen-artı-rank-bir yapısıyla $O(1)$ çıkarım karmaşıklığı sunarak bellek kısıtlı ortamlarda yüksek verim sağlar.
Algoritmik Durum Takibi: Modelin matematiksel grupları ve rotasyonları daha az katmanla izleyebilmesi, yazılım projelerinde durum makinelerinin (state machine) ve mantıksal kuralların dil modelleriyle daha kararlı simüle edilmesine imkan tanır.
Açık Kaynak Entegrasyonu: Geliştiriciler açık kaynaklı kod tabanına GitHub reposundan ve eğitilmiş model ağırlıklarına Hugging Face koleksiyonundan doğrudan erişerek kendi mimarilerine entegre edebilir.

Orijinal makaleye buradan ulaşabilirsiniz.