ShallowStream: Akış Video Anlama için Önce Sığ İndeksleme, Sonra Derin Yanıtlama

Gerçek Zamanlı Video Akışları ve MLLM Maliyetleri

Akış video anlama (streaming video understanding); otonom sürüş, gömülü yapay zeka (embodied intelligence), endüstriyel izleme, gözetim ve erken uyarı sistemleri ile akıllı giyilebilir asistanlar gibi kritik gerçek dünya uygulamalarında vazgeçilmez bir yetenektir. Buna karşın, kesintisiz video akışlarının çok modlu büyük dil modelleri (MLLM) aracılığıyla sürekli işlenmesi devasa bir hesaplama ve bellek maliyeti doğurur.

Literatürde bu hesaplama yükünü ve gecikmeyi hafifletmek amacıyla geliştirilen mevcut yaklaşımlar genellikle beş ana stratejiye odaklanmıştır:

Görsel Belirteç Budama (Visual Token Pruning): Düşük bilgi yoğunluğuna sahip görsel belirteçlerin işleme hattından elenmesi.
Belirteç Birleştirme (Token Merging): Benzer görsel temsillerin kümelenerek tek bir belirteçte birleştirilmesi.
Kuantizasyon (Quantization): Ağırlık ve aktivasyon tensör hassasiyetinin düşürülmesi.
İsteğe Bağlı Kare Getirme (On-Demand Frame Retrieval): Karelerin akış boyunca değil, yalnızca bir sorgu geldiğinde taranıp getirilmesi.
Bağlam Dışa Aktarımı (Context Offloading): Şişen KV önbelleğinin birincil bellekten harici depolama katmanlarına aktarılması.

Model Derinliği Darboğazı ve ShallowStream Mimarisi

Mevcut optimizasyon tekniklerinin neredeyse tamamı kritik bir boyutu gözden kaçırmaktadır: Model derinliği. Gelen her video karesi için modelin tüm katmanlarını kapsayan tam derinlikli (full-depth) ön yükleme (prefill) adımlarını çalıştırmak aşırı maliyetlidir. Bu işlem hem işlemci kaynaklarını tüketmekte hem de Anahtar-Değer (KV) önbelleğinin prefill derinliğiyle doğru orantılı biçimde hızla şişmesine yol açmaktadır.

ShallowStream çerçevesi bu zorlukları aşmak adına yenilikçi bir katman ayrımı sunar:

Sığ Katmanlarla Sürekli İndeksleme: Akış işleme sürecinde MLLM'in yalnızca sığ (shallow) katmanları kullanılarak hem video kareleri kodlanır hem de hafif bir erişim indeksi oluşturulur. Sistem, sığ katmanların KV önbelleği sayesinde her an aktif kalan, son derece düşük kaynak tüketen bir indeks yapısı yürütür.
Çeşitlilik Odaklı Kanıt Çıkarımı: Sorgu anında, yine sığ katmanların ürettiği dikkat (attention) skorları referans alınarak bağlam kareleri puanlanır. Çeşitliliğe duyarlı (diversity-aware) bir seçim stratejisiyle en isabetli ve kapsamlı kanıt kareleri seçilerek derin yanıtlama aşamasına aktarılır.

Performans ve Yazılım Mühendisliği Çıkarımları

ShallowStream, mevcut en güçlü akış işleme yöntemleriyle başa baş bir anlama başarımı sergilerken çarpıcı bir verimlilik sağlar:

Kare başına ön yükleme gecikmesinde (prefill latency) 52,1 kata kadar,
10 saniyelik uçtan uca yanıt gecikmesinde (end-to-end latency) ise 11,9 kata kadar azalma elde edilmiştir.

Geliştiriciler İçin Pratik Çıkarımlar: Canlı video akışı işleyen üretim hatlarında her kare için tam çıkarım (full inference) çalıştırmak mimari bir anti-pattern'dir. ShallowStream mimarisinin kanıtladığı gibi; modelin ilk katmanlarını hafif bir anlamsal yönlendirici (semantic router) ve indeksleme katmanı olarak kurgulamak, derin katmanları ise sadece sorgu anında devreye sokmak, gerçek zamanlı AI boru hatlarında sunucu ve VRAM maliyetlerini optimize etmenin en etkili yoludur.

[Orijinal kaynağa buradan ulaşabilirsiniz.](https://huggingface.co/papers/2609.02780)

Bu konuyu derinlemesine öğrenmek isterseniz: Live / Stream modülüne göz atın.