Dondurulmuş VLM'ler ile Eğitimsiz, Konuşma Odaklı Omni Anlama (TFO)

Görsel-İşitsel Anlamanın Zorlukları ve Mevcut Omni Modeller

Görsel-işitsel anlama (audio-visual understanding), modellerin konuşma içeriğini, görsel olayları ve bu iki modalite arasındaki zamansal ilişkileri eşzamanlı olarak yorumlamasını gerektirdiğinden yapay zeka alanında zorlu bir problem olmaya devam etmektedir. Mevcut çok modlu ("omni") modeller, genellikle mimariye özel ses kodlayıcıları (audio encoders) eklemekte ve yüksek maliyetli ses-video-metin ortak eğitimlerine dayanmaktadır. Bu yaklaşım, omni anlama kabiliyetini doğrudan belirli Görsel Dil Modeli (VLM) omurgalarına sıkı sıkıya bağlarken modellerin mevcut görsel kavrayış ve mantıksal akıl yürütme becerilerini zayıflatabilmektedir.

Bu kısıtlamalar, araştırmacıların yanıt aradığı üç temel soruyu gündeme getirmektedir:

Yerel Omni Eğitimi Zorunlu mu?: Her yeni VLM mimarisi için sıfırdan yerel (native) bir omni eğitimi gerçekleştirmek gerçekten gerekli midir?
Orijinal Omurga Korunabilir mi?: Mevcut VLM omurgası dondurularak konuşma odaklı omni anlama yeteneği modele başarıyla entegre edilebilir mi?
Zengin Akustik Temsiller Nerede Esastır?: Daha zengin ve ham akustik temsillerin vazgeçilmez olarak kalmaya devam ettiği kullanım alanları hangileridir?

Training-Free Omni (TFO) Çerçevesi

Bu sorulara çözüm olarak sunulan Training-Free Omni (TFO), dondurulmuş (frozen) bir VLM'yi herhangi bir mimari değişiklik veya çok modlu yeniden hizalama (re-alignment) gerektirmeden konuşma odaklı bir omni modele dönüştüren tak-çalıştır bir çerçevedir.

TFO'nun çalışma mekanizması şu temellere dayanır:

Whisper modelini kullanarak güvenilirlik filtresinden geçirilmiş, zaman damgalı (timestamped) transkriptler çıkarır.
Görsel veri yoluna (visual pathway) hiçbir müdahalede bulunmadan, elde edilen konuşma verilerini VLM'nin mevcut dil arayüzüne yönlendirir (routing).

Kıyaslama Sonuçları ve Korunan Yetenekler

56 kıyaslama (benchmark) ve 21 farklı dilde yerel omni modellerle gerçekleştirilen eşleştirilmiş testlerde TFO:

Görsel-işitsel anlama görevlerinde yerel omni modellerle oldukça rekabetçi bir düzey sergilemiştir.
Test edilen beş model senaryosunun tamamında ortalama yalnızca ses (audio-only) başarımını artırmış ve çok dilli konuşma görevlerinde kayda değer kazanımlar sağlamıştır.
VLM omurgasının dondurulması sayesinde; görüntü/video anlama, görsel temellendirme (visual grounding), kodlama, matematiksel akıl yürütme ve tıbbi soru yanıtlama yeteneklerini yerel omni kontrol noktalarına (checkpoints) kıyasla belirgin şekilde daha güçlü korumuştur.

Yazılım Geliştirme Açısından Pratik Çıkarımlar

Geliştiriciler ve yapay zeka mühendisleri için bu çalışma önemli pratik ilkeler sunar:

Modüler Mimari ve Maliyet Tasarrufu: Her multimodal senaryo için sıfırdan devasa omni modeller eğitmek yerine, özelleşmiş modelleri (Whisper + VLM) akıllı yönlendirme katmanlarıyla birleştirmek geliştirme süresini ve GPU maliyetlerini ciddi oranda düşürür.
Yetenek Erozyonunu Önleme: Geniş kapsamlı fine-tuning süreçleri çoğu zaman modellerin kodlama ve mantıksal akıl yürütme becerilerinde bozulmaya yol açar. Dondurulmuş omurgalar ile modüler entegrasyon bu riski ortadan kaldırarak temel yeteneklerin korunmasını sağlar.

[Orijinal kaynağa buradan ulaşabilirsiniz.](https://huggingface.co/papers/2609.04242)

Bu konuyu derinlemesine öğrenmek isterseniz: Modeller: Hangisi, Ne Zaman? modülüne göz atın.