Plan Olarak Bellek: Belleğe Dayalı Planlama ile Dünya-Eylem Modellemesi

Geleneksel robotik kontrol politikaları çoğunlukla Markovian bir yaklaşım benimsemektedir; yani karar mekanizmalarını yalnızca mevcut anlık gözleme dayandırırlar. Ancak karmaşık ve uzun ufuklu gerçek dünya manipülasyon görevleri doğası gereği Markovian değildir ve anlık algının ötesine geçen uzun vadeli bir bellek gerektirir. Mevcut robotik bellek mekanizmaları genel olarak doğal dil özetlerine, sürekli genişleyen görsel pencerelere ya da bunların hibrit kombinasyonlarına dayanır. Bu durum, ince taneli görsel kanıtların kaybolmasına yol açmakta veya geçmiş kapsamı ile yürütme verimliliği arasında kaçınılmaz bir hesaplama ödünleşmesi yaratmaktadır. Bu kritik problemi çözmek amacıyla önerilen MaP-WAM (Memory-as-Plans World-Action Modeling), belleğe bağımlı dünya-eylem modellemesini iki ana aşamaya ayıran yenilikçi bir çerçeve sunar: belleğe dayalı planlama ve plana koşullu yürütme.

Temel Bulgular ve Mimari Özellikler#

• Planlama ve Yürütmenin Ayrıştırılması: MaP-WAM, uzun vadeli çok modlu epizodik bağlamı yürütücü modele her kontrol adımında tekrar tekrar vermek yerine, bu geçmişi yalnızca planlama aşamasında kanıt olarak değerlendirir. Böylece yürütücünün her adımda tüm geçmişi işlemesi engellenir.
• Plan Olarak Bellek Temsili: Bellek, doğal dil talimatlarını ve seyrek görsel bağlamı içeren tamamlanmış segment kayıtları olarak saklanır. Sistem, bu epizodik belleği bir sonraki segment düzeyindeki dil planına ve ona karşılık gelen görsel rehberliğe dönüştürür.
• WAP (Dünya-Eylem-İlerleme) Modeli: Dünya-Eylem-İlerleme (World-Action-Progress) modeli, çıkarım anında eylem bloklarını (action chunks) ve bunlara karşılık gelen yürütme ilerlemesini eşzamanlı tahmin ederek belirsiz süreli planları başarıyla yürütür.
• Kapalı Döngü Kalibrasyon ve Güncelleme: Modelin tahmin ettiği yürütme ilerlemesi, plan-gözlem uyumu üzerinden dinamik olarak kalibre edilir; bu yapı uyarlanabilir segment geçişlerini ve kapalı döngü bağlam güncellemelerini mümkün kılar.
• Sabit Bağlam ve Yapılandırılmış Dikkat: Yürütücünün bağlam uzunluğu tamamen sabit tutulur. Yapılandırılmış dikkat mekanizması, hem planlama hem de yürütme aşamalarında anahtar-değer önbelleklemesini (KV-caching) etkinleştirerek görev geçmişi uzadıkça çıkarım gecikmesinin yaklaşık olarak sabit kalmasını sağlar.
• Üstün Başarım ve Kıyaslama Sonuçları: MaP-WAM, standart RMBench testlerinde %83.3 başarı oranı elde ederek yeni bir SOTA seviyesi belirlemiş, gerçek robot manipülasyon görevlerinde ise %78.0 başarıya ulaşmıştır.

Yazılım Geliştirme ve Öğrenme Çıkarımları#

• Planner-Executor Deseni: Büyük dil ve vizyon modellerinde tüm geçmişi yürütücüye taşımak lineer gecikme artışına yol açar. Belleği seyrek plan kayıtlarına dönüştürmek, otonom yazılım ajanlarında bağlam şişmesini (context bloating) ve hesaplama maliyetini önler.
• İlerleme Tabanlı Kapalı Döngü Kontrol: Eylemleri tek yönlü üretmek yerine yürütme ilerlemesini (progress) dinamik doğrulamak, çok adımlı ajan sistemlerinde çalışma zamanı hatalarını azaltır ve adaptif görev geçişi sağlar.
• KV-Cache ve Sabit Bağlam Mimarisi: Gerçek zamanlı yapay zeka sistemlerinde yürütücü bağlamını sabit boyutta sınırlamak ve yapılandırılmış dikkat ile KV önbelleklemesi uygulamak, uzun süreli oturumlarda ölçeklenebilirlik için en kritik tasarım prensibidir.