DataVista: Çok Modlu LLM'lerin Veri Videosu Anlama Başarımı

Giriş ve Problem Tanımı#

Veri videosu (Data video), veri görselleştirmesini video anlatısıyla harmanlayan; haber bültenleri ve iş analitiğinde yaygın olarak kullanılan modern bir medya formatıdır. Genel video anlama görevleriyle karşılaştırıldığında veri videosunu anlamak; animasyonlu grafiklerden verileri doğru okumayı, farklı grafikler ve zaman boyunca kanıtları bütünleştirmeyi ve görsel tasarım ile anlatı organizasyonunun bilgiyi nasıl aktardığını kavramayı gerektirir. Mevcut kıyaslama testleri (benchmark) yalnızca genel videoları ya da statik grafikleri hedeflerken, veri videolarının anlaşılması daha önce sistematik olarak değerlendirilmemiştir.

DataVista Benchmark Mimarisi#

Bu açığı kapatmak amacıyla geliştirilen DataVista, veri videosu anlama alanındaki ilk benchmark setidir. 5 farklı konu alanına yayılan 961 gerçek dünya veri videosu ve 6.775 değerlendirme sorusu içerir. Sistem, 10 detaylı soru tipi eşliğinde modelleri üç aşamalı bir yetenek çerçevesinde sınar:

Veri algılama (Data perception): Dinamik grafiklerdeki verilerin eksiksiz ve doğru okunması.
Zamansal akıl yürütme (Temporal reasoning): Zaman ekseninde değişen grafikler arasında kanıtların birleştirilmesi.
Anlatı anlama (Narrative understanding): Anlatı kurgusu ve görsel tasarımın ilettiği mesajın çözümlenmesi.

Değerlendirme Sonuçları ve Başarısızlık Modları#

19 ana akım çok modlu büyük dil modelinin (MLLM) tabi tutulduğu sistematik testlerde, en yüksek başarıyı elde eden model %70,0 genel doğruluk oranıyla Gemini-3.1-Pro olmuştur. Bu oran, insan uzman performansının hâlâ belirgin şekilde altındadır. Modeller özellikle Nedensel Akıl Yürütme (Causal Reasoning) ve Anlatı Yapısı (Narrative Structure) boyutlarında en zayıf performansı sergilemiştir.

Kare sayısını artırmanın ve altyazı eklemenin başlıca veri algılama ve zamansal akıl yürütmeye fayda sağladığı, anlatı anlama tarafında ise sınırlı kazanım sunduğu tespit edilmiştir. Model yanıtlarının derinlemesine analizi, üç temel alanda belirgin hata modları olduğunu ortaya koymuştur:

Grafik okuma (Chart reading)
Kanıt değerlendirme (Evidence judgment)
Talimat anlama (Instruction understanding)

Yazılım Geliştirme ve Öğrenme Açısından Çıkarımlar#

Yapay zekâ tabanlı analitik panelleri, otomatik raporlama sistemleri ve karar destek ajanları inşa eden geliştiriciler için çalışma kritik pratik çıkarımlar sunmaktadır:

Gelişmiş Çok Modlu Mimari: Yalnızca video kare örnekleme sıklığını artırmak, yüksek seviyeli anlatı çıkarımları için yetersizdir. Geliştiriciler, zamansal akıl yürütmeyi desteklemek adına yapılandırılmış ara katmanlar ve çok aşamalı prompt mimarileri kurgulamalıdır.
Doğrulama ve Denetim Katmanları: Modellerin grafik okuma ve kanıt yargılama zaafları göz önüne alınarak, analitik süreçlerde modellerin çıktıları kural tabanlı doğrulama mekanizmaları ve insan denetimi (human-in-the-loop) ile desteklenmelidir.
Kapsamlı Test Stratejileri: AI sistemlerini üretim ortamına alırken değerlendirmeler yalnızca statik ekran görüntüleriyle sınırlandırılmamalı; DataVista gibi dinamik veri akışları içeren test setleri model doğrulama süreçlerine dahil edilmelidir.

Benchmark setine ve kaynak kodlara https://github.com/HKUSTDial/DataVista adresinden ulaşılabilir.

Bu konuyu derinlemesine öğrenmek isterseniz: AI Test Stratejileri modülüne göz atın.