PAIR: Görsel-Dil-Eylem (VLA) Modellerinde Algı ve Eylem Arasında Köprü Kurmak

Algıdan Eyleme Geçiş Sorunu ve PAIR Çerçevesi#

Görsel-dil-eylem (Vision-Language-Action - VLA) modelleri, görsel gözlemleri ve dil talimatlarını sürekli (continuous) robot eylemlerine dönüştürür. Bu görev, sahneyi ve talimatı tanımlayan temsillerden eylem üretimini destekleyen temsillere doğru kritik bir geçiş gerektirir. Ancak mevcut pek çok sürekli-eylem VLA modeli bu geçişi örtük (implicit) bırakmakta ve süreci ağırlıklı olarak yalnızca nihai eylem-tahmin kaybı (action-prediction loss) üzerinden denetlemektedir.

Bu boşluğu doldurmak üzere geliştirilen PAIR, algı ve eylem uzayları arasında paylaşılan bir ara temsil (shared perception-action representation) öğrenen yenilikçi bir çerçevedir.

Mimari Yapı ve Çalışma Prensibi#

PAIR, eğitim ve çıkarım (inference) aşamalarını birbirinden ayırarak hem zengin bir öğrenme sinyali sağlar hem de çalışma zamanı verimliliğini korur:

• Maskeli Eylem Otomatik Kodlayıcısı (Masked Action Autoencoder): Eğitim sırasında uzman eylem parçalarını (action chunks) ufuk-hizalı (horizon-aligned) Eylem Gizli Tokenlarına (Action Latent Tokens) kodlar.
• Köprü Modülü (Bridge Module): Mevcut görsel-dil temsillerinden görevle ilgili özellikleri çıkarır.
• Köprü Tokenları (Bridge Tokens): PAIR, çıkarılan özellikleri Eylem Gizli Tokenları ile hizalayarak hem görev bilgisini koruyan hem de uzman eylemlerinin yapısını yakalayan Köprü Tokenlarını oluşturur.
• Eylem Uzmanı İyileştirmesi (Action Expert Refinement): Köprü Tokenları eylem-token uzayına yansıtılır ve başlangıç Eylem Tokenlarına enjekte edilir. Bu sayede Eylem Uzmanı (Action Expert) iyileştirmesi için eyleme hazır bir başlangıç noktası sağlanır.
• Çıkarım (Inference) Aşaması: Model canlıya alındığında otomatik kodlayıcı devre dışı bırakılır; Köprü Tokenları yalnızca o anki görsel gözlem ve dil talimatından üretilir.

Deneysel Sonuçlar ve Performans Kazanımları#

LIBERO, LIBERO-Plus ve CALVIN ABC-D kıyaslamalarında yapılan deneyler, OpenVLA-OFT ve VLA-Adapter modelleri için belirgin performans artışları ortaya koymaktadır:

• LIBERO-Plus: VLA-Adapter modelinin başarı oranını %59,1'den %64,2'ye yükseltir.
• CALVIN ABC-D: VLA-Adapter modelinin ortalama tamamlanan dizi uzunluğunu 4,42'den 4,53'e çıkarır.
• Gerçek Dünya Görevleri: Yedi farklı gerçek dünya görevinde OpenVLA-OFT modelinin başarı oranını %51,4'ten %65,0'a taşır.

Temsil analizleri, Köprü Tokenlarının görev bilgisini korurken aynı zamanda sürekli-eylem bilgisini Eylem Uzmanı iyileştirmesinden hemen önce erişilebilir kıldığını göstermektedir.

Yazılım Geliştirme ve Mühendislik Çıkarımları#

Karmaşık yapay zeka sistemleri ve çok-modlu (multimodal) mimariler geliştiren mühendisler için bu çalışmadan çıkarılabilecek pratik dersler şunlardır:

• Ara Temsilleri Açıkça Denetleyin: Farklı veri modaliteleri (örneğin metin/görüntü anlama ile sürekli kontrol sinyali üretme) arasında geçiş yaparken tüm yükü uçtan uca tek bir kayıp fonksiyonuna (end-to-end loss) bırakmak yerine, ara katmanları hizalayan köprü modülleri tasarlamak modelin yakınsamasını ve başarısını ciddi oranda artırır.
• Eğitim/Çıkarım Asimetrisinden Yararlanın: Eğitim sırasında modele rehberlik eden yardımcı ağlar (buradaki Autoencoder gibi) kullanıp çıkarım sırasında bunları mimariden çıkarmak, üretim ortamında (production) ek gecikme (latency) veya bellek maliyeti yaratmadan yüksek doğruluk elde etmenin en etkili yollarından biridir.
• Mevcut Mimarilere Modüler Entegrasyon: PAIR'in hem OpenVLA-OFT hem de VLA-Adapter üzerinde çalışması, iyi tasarlanmış bir ara katman soyutlamasının farklı temel modellere (backbone) tak-çalıştır mantığıyla entegre edilebileceğini gösterir.