AB-Attention: Video Difüzyon Transformer'larını Hızlandırmak İçin Doğru Blok Dikkat Mekanizması

Video Difüzyon Modellerinde Dikkat (Attention) Darboğazı#

Video difüzyon transformer modelleri yüksek kaliteli videolar üretse de, 3D tam dikkat (full attention) mekanizmasının karesel (quadratic) hesaplama maliyeti çıkarım (inference) sürecini domine etmektedir. Dinamik blok-seyrek dikkat (block-sparse attention) yöntemleri, yalnızca mevcut aktivasyonlardan seçilen anahtar/değer (key/value) blokları üzerinde tam dikkat hesaplayarak bu maliyeti düşürmeyi hedefler. Ancak agresif seyreklik (sparsity) seviyelerinde model doğruluğu ciddi şekilde bozulur:

• Bloklar kaba özetlerden puanlanır veya maliyetli küresel kümeleme (global clustering) ile oluşturulur.
• Budanan (pruned) bloklar softmax hesaplamasından tamamen kaybolur ve dağılımı bozar.
• Yalnızca birkaç anahtar (key) önemli olsa bile tüm döşemeler (tiles) ya tamamen tutulur ya da tamamen atılır.

AB-Attention ve Üç Temel Yeniliği#

Bu sınırlamaları aşmak için geliştirilen Accurate Block Attention (AB-Attention), yüksek seyreklikte bile yoğun (dense) dikkat mekanizmasını doğru bir şekilde yaklaşık olarak hesaplayan, eğitim gerektirmeyen (training-free) bir yöntemdir. Mimari üç ana bileşenden oluşur:

• Blok İçi Kümeleme Seçicisi (IBCS - Intra-Block Clustering Selector): Token'ların sırasını değiştirmeden (permütasyon yapmadan) yalnızca her bir sorgu (query) bloğu içindeki sorguları kümeler. Böylece blok önemini hem aslına sadık kalarak hem de düşük maliyetle tahmin eder.
• Dahil Edilme Olasılığı Ağırlıklı Örnekleme (SIP - Sampling with Inclusion-Probability Weighting): Blokları IBCS tahminleriyle orantılı olarak örnekler ve ters dahil edilme olasılığı (inverse inclusion probability) ile yeniden ağırlıklandırır. Bu sayede tek bir geçiş, yoğun dikkati kesip atmak (truncating) yerine istatistiksel olarak tahmin eder.
• Donanım Dostu Çekirdek (Kernel) Tasarımı: Bir döşemeden (tile) çok daha küçük olan anahtar/değer bloklarını tam tensor-core döşemeleri halinde birleştirir. Böylece ekstra tensor-core maliyeti yaratmadan seçim hassasiyetini artırır.

Performans Sonuçları ve Pratik Çıkarımlar#

Wan2.1 ve HunyuanVideo modelleri üzerinde yapılan testlerde AB-Attention, dikkat hesaplamalarının %89 ila %92'sini atlamaktadır. Referans (baseline) yöntemler 1.8 ile 3.6 kat daha fazla hesaplama yapmasına rağmen, AB-Attention en güçlü referans modele kıyasla PSNR değerini 4.4 dB'ye kadar iyileştirir ve uçtan uca 2.23 kata kadar hızlanma (speedup) sağlar. Açık kaynak kodlarına https://github.com/InfRec-Cardinal/AB-Attention adresinden erişilebilir.

Yazılım Geliştirme ve Mühendislik Açısından Çıkarımlar#

• Eğitimsiz (Training-Free) Optimizasyon: Büyük video modellerini yeniden eğitmek yerine, çıkarım aşamasında doğrudan mevcut ağırlıklarla çalışan algoritmik iyileştirmeler üretim (production) maliyetlerini anında düşürür.
• Kesme Yerine İstatistiksel Tahmin: Seyrek dikkat mekanizmalarında düşük skorlu blokları tamamen sıfırlamak yerine olasılıksal ağırlıklandırma (SIP) kullanmak, kalite kaybını önleyen kritik bir mühendislik yaklaşımıdır.
• Donanım-Algoritma Uyumu: GPU tensor-core birimlerinin tam kapasite çalışması için küçük bellek bloklarının tek bir döşemede toplanması, düşük seviyeli çekirdek (kernel) optimizasyonunun pratik önemini gösterir.

---

Bu konuyu derinlemesine öğrenmek isterseniz: Ölçeklendirme ve Optimizasyon modülüne göz atın.