JEPA Mimarileriyle Platonik Temsil Hipotezini Kanıtlamak ve Geliştirmek

Farklı modaliteler (metin, görüntü vb.) üzerinde eğitilen yapay zeka modellerinin dünyaya dair aynı ortak temsile yakınsayıp yakınsamadığı, modern yapay zeka araştırmalarının merkezinde yer alır. Platonik Temsil Hipotezi (PRH), modeller büyüdükçe (ölçeklendikçe) bu ortak temsile ulaştıklarını öne sürer; ancak matematiksel bir kanıt olmadan bu durum ne bir garanti ne de pratik bir uygulama reçetesi sunar. Randall Balestriero ve Yann LeCun tarafından kaleme alınan bu çalışma, söz konusu hipotezi matematiksel bir teoreme dönüştürerek model mimarisi ve veri temsili açısından kritik bulgular ortaya koymaktadır.

Temel Bulgular ve Teorik Çerçeve#

Makale, hipotezi kanıtlama ve geliştirme sürecini üç ana adım üzerinden yapılandırmaktadır:

• Birinci Adım: Platonik Temsil Teoremi ve "İyi Görünümler" (Good Views): Araştırmacılar, ayrı ayrı modaliteler üzerinde eğitilen Ortak-Gömme Öngörücü Mimarilerin (JEPA), pozitif çiftleri aynı sahnenin iki farklı gözlemi (iyi görünümler) olduğunda, tek bir rotasyon farkına kadar tamamen aynı temsili öğrendiğini kanıtlamaktadır. Diğer durumlarda ise hizasızlık (misalignment) belirli sınırlar içinde kalmaktadır.
• İkinci Adım: Sonraki-Token Tahmini ve "Kötü Görünümler" (Bad Views): Günümüz büyük dil modellerinin temelini oluşturan sonraki-token tahmini (next-token prediction) yaklaşımının, aslında tek bir dokümanın parçalarını kullanan kötü görünümlere sahip bir JEPA olduğu gösterilmektedir. Bu durum, standart dil modellerinin görsel dünyayla neden yalnızca devasa ölçeklere ulaştığında hizalanabildiğini açıklar.
• Üçüncü Adım: Ölçekleme Yasası ve Deneysel Doğrulama: Teori, 145 bin alt yazıdan 940 milyon web görüntüsünün metinlerine kadar uzanan veri setleriyle doğrulanmış ve görülmemiş eğitim çalışmalarını tohum gürültüsü (seed noise) sınırları içinde tahmin edebilen bir hizalanma ölçekleme yasası ortaya çıkarılmıştır. İyi görünümler, aynı derlem üzerinde aynı hizalanma seviyesine ulaşmak için sonraki-token tahminine kıyasla 42 kat daha az eğitim örneğine ihtiyaç duyar. Yalnızca 109 milyon parametreli bir metin JEPA modeli, DINOv2 ve CLIP görüntü kodlayıcılarıyla, değerlendirilen 72 milyar parametreye kadar tüm dil modellerinden ve CLIP metin kodlayıcısından daha iyi hizalanmaktadır.

Uygulama Sonuçları ve Yazılım Geliştirme Açısından Çıkarımlar#

Araştırmanın sunduğu pratik sonuçlar, yapay zeka mühendisliği ve model seçimi açısından ezber bozucu niteliktedir:

• Çapraz Modalite Dönüşümü: Ayrı ayrı eğitilmiş kodlayıcılar, yalnızca tek bir rotasyon matrisi ile başarılı bir görüntü altyazılama (image captioner) sistemine dönüştürülebilmektedir (COCO veri setinde .838 CIDEr skoru).
• Eşleşmesiz (Pair-Free) Sıfır-Atış Performansı: Eşleşmiş veriye ihtiyaç duymayan en güncel kıyaslamalarda metin JEPA modeli, ImageNet-100 üzerinde %56'da kalan 8 milyar parametreli dil modellerini geride bırakarak %64 top-5 zero-shot doğruluk oranına ulaşmıştır.
• Mühendislik ve Mimari Çıkarımı: Sonraki-token tahmini, platonik temsillere ulaşmak için son derece verimsiz bir yoldur. Geliştiriciler ve araştırmacılar için temel kaldıraç yalnızca modeli ve donanımı ölçeklendirmek değil, eğitim verisinde doğru pozitif görünümleri (positive views) ve JEPA tabanlı gömme (embedding) stratejilerini kurgulamaktır. Çok daha küçük ve düşük maliyetli modellerle, devasa LLM'lerden daha yüksek çok-modlu (multimodal) hizalanma ve çıkarım verimliliği elde etmek mümkündür.