S-Space: Çok Modlu Dil Modellerinde Uzamsal Çalışma Alanının Keşfi

Giriş: Çok Modlu Modellerde Uzamsal Akıl Yürütme#

Çok modlu büyük dil modelleri (MLLM), görsel ve uzamsal akıl yürütme alanında umut vadeden bir potansiyel sergilemektedir. Buna karşın, bu yeteneklerin arkasında yatan dahili mekanizmalar günümüze kadar büyük ölçüde aydınlatılamamıştır. Bu çalışma, nesne belirteç (object-token) temsillerinin yatay, dikey ve derinlik eksenleri boyunca sürekli koordinatları kodladığı doğrusal bir temsil alt uzayı olan S-Space'i (Uzamsal Alan) gün yüzüne çıkarmaktadır.

Araştırmacılar bu eksenleri, uzamsal yanıt skorlarının nesne belirteç aktivasyonlarına göre türevini alarak tanımlamış olsalar da, S-Space belirli veri kümeleri veya istemlerle (prompt) tetiklenen yapay bir durum değildir. Aksine, modelin yapısında içsel (intrinsic) olarak bulunur ve uzamsal olmayan sorgular altında dahi okunabilirliğini korur.

S-Space: Dahili Uzamsal Çalışma Alanı#

Çalışma, S-Space'in modeller için bir "dahili uzamsal çalışma alanı" (internal spatial workspace) işlevi gördüğünü ortaya koymaktadır. Bu alan üç temel dinamikle çalışır:

Algılama (Perception): Görsel girdideki nesne konumlarını bu alt uzaya kodlayarak, doğru uzamsal yargıları desteklemek üzere doğrudan okunabilen mekânsal temsiller oluşturur.
Dahili Akıl Yürütme (Internal Reasoning): Değişen bakış açılarını (viewpoint changes) modellemek adına uzamsal temsilleri dönüştürür.
Sözel Yanıtlar (Verbal Responses): Üretilen yanıtlar bu alana seçici olarak erişir. Yapılan nedensel müdahaleler (causal interventions), genel metin kalitesini korurken yalnızca uzamsal kararları yönlendirebildiğini göstermektedir.

Derinlemesine Bulgular ve Sınırlar#

Örnek olay incelemeleri, S-Space'in görselde açıkça yer almayan varlıklara ve hatta gözlemcinin kendisine dahi koordinat atayabildiğini göstermektedir. Ayrıca fiziksel yönler ile soyut dilsel anlamlar arasında köprü kurarak, büyük ölçekli dil modellerinin eğitim süreçlerinin sunduğu olanakları ve sınırları gözler önüne sermektedir.

Uzamsal Hatalar İçin Teşhis Aracı ve Temel Darboğaz#

S-Space, modellerdeki muhakeme hatalarını analiz etmek için teşhis aracı olarak kullanıldığında iki kritik bulgu sunar:

Referans Çerçevesi Eşleşmesi: Yön sözcüklerinin okunması, ana yönler (kuzey, güney vb.) ile görüntüye göreli yönler (sağ, sol vb.) arasında sistematik bir eşleşme olduğunu açığa çıkarır.
Algı ve Hesaplama Ayrımı: En önemli darboğaz buradadır; modeller başarılı uzamsal temsiller oluşturabilse de, bakış açısı değişimlerinde güvenilir akıl yürütme için zorunlu olan uzamsal dönüşümleri (spatial transformations) gerçekleştirmekte yetersiz kalmaktadır.

Yazılım ve Yapay Zeka Geliştiricileri İçin Çıkarımlar#

Görsel-dil modelleriyle robotik, haritalama veya karmaşık görsel ajanlar (agent) inşa eden geliştiriciler için bu çalışma hayati bir pratik ders sunar:

Temsil ile Dönüşümü Ayırın: Modeller nesnelerin nerede olduğunu doğru algılasa da zihinsel kamera rotasyonlarında başarısız olmaktadır. Bu nedenle bakış açısı dönüşümü gerektiren görevlerde modelleri serbest bırakmak yerine deterministik algoritmalar ve araç çağrıları (tool calling) devreye alınmalıdır.
Temsil Mühendisliği (Representation Engineering): Modelin içsel aktivasyon uzaylarını izleyerek görsel halüsinasyonlar yanıt üretilmeden önce yakalanabilir ve güvenlik filtreleri geliştirilebilir.