Etkileşimli Dünya Simülasyonu İçin Yeni NVIDIA Cosmos 3 Açık Modelleri

Özet (TL;DR)#

NVIDIA Cosmos dünya modeli geliştirme platformu, etkileşimli dünya simülasyonları ve çoklu sensörlü, çok açılı sürüş sahneleri oluşturmak üzere Cosmos 3 model ailesine dört yeni açık ağırlıklı (open-weight) kontrol noktası ekledi:

• 🌦️ Cosmos3-Nano-Transfer-Auto: Farklı hava durumu, ışıklandırma ve günün saatlerine sahip çok açılı sürüş verileri üretir.
• 🚗 Cosmos3-Nano-Sim-Auto: Sürüş simülasyonu için senkronize kamera ve LiDAR gözlemlerini akış (stream) halinde sunar.
• 🎨 Cosmos3-Nano-Sim-Transfer: Simülatör kontrollerini ve metin istemlerini (prompt) fotogerçekçi videoya dönüştürür.
• 🤖 Cosmos3-Nano-Sim-Bimanual: Robot veya kamera eylemlerinden yola çıkarak video tahminleri yürütür.

Dört modelin tamamı Cosmos 3 Nano'nun sonradan eğitilmiş (post-trained) örnekleridir ve 16 milyar eğitilebilir parametreye sahiptir. Modeller, hem ticari hem de ticari olmayan kullanıma izin veren OpenMDW1.1 lisansını kullanmaktadır. Yazılım geliştiriciler için bu durum, büyük ölçekli simülasyon altyapılarını sıfırdan eğitmek yerine doğrudan kendi projelerine entegre edebilecekleri hazır ve güçlü bir temel anlamına gelir.

Bu Kontrol Noktalarına Neden İhtiyacınız Var?#

• 🦾 Robotik sistemlerin değişen sahne ve bakış açılarına yanıt verebilen ortamlara ihtiyacı vardır: Bu kontrol noktaları birbirini tamamlayan çözümler sunar; Sim-Bimanual eylemlerin görsel sonuçlarını tahmin ederken, Sim-Transfer bir fizik simülatörünün kontrollerini üretilmiş gözlemlere dönüştürür. Geliştiriciler bu sayede fiziksel donanım maliyetine katlanmadan robotik algoritmalarını sanal ortamlarda güvenle test edebilir.
• 🚦 Otonom sürüş için görünüm ve geometri birbiriyle uyumlu olmalıdır: Senkronize kamera ve LiDAR üretimi, görsel gözlemleri 3B algılama ile birleştirir. Sahne ve trafik sinyali kontrolleri, araştırmacıların yol düzenlerini ve sinyal durumlarını değiştirmesine ve ardından sürüş politikasının nasıl tepki verdiğini incelemesine olanak tanır. Yazılım test süreçlerinde uç durumları (edge-cases) yakalamak için bu tür sentetik veri üretimi kritik bir pratik avantaj sağlar.
• 🔄 Her gözlem bir sonraki eylemi şekillendirebilir: Akış (streaming) tabanlı üretim, video tahminini devam eden etkileşime bağlayarak dünya modeli araştırmacılarına eylemlerin ve gözlemlerin birlikte nasıl geliştiğini keşfetme yolu sunar. Gerçek zamanlı karar alma mekanizmaları geliştiren mühendisler için kapalı döngü (closed-loop) simülasyon yeteneği büyük önem taşır.
• 🌐 Başkalarının üzerine inşa edebileceği açık bir temel: NVIDIA'nın vizyonu, araştırmacıların ve geliştiricilerin daha zengin, daha duyarlı simüle edilmiş dünyalar yaratmasına yardımcı olmaktır. Açık ağırlıklar ve eğitim sonrası tarifler; modelleri uyarlamak, yöntemleri karşılaştırmak ve iyileştirmelere katkıda bulunmak için ortak bir başlangıç noktası sağlar. Modellerin politika öğrenimini ne ölçüde desteklediğini ölçmek, sınırlarını anlamak ve eksik kaldıkları noktaları geliştirmek ise önümüzdeki temel mühendislik görevleridir.

Cosmos3-Nano ile Otonom Araç Dünyaları İnşa Edin#

🌦️ Transfer-Auto: Sürüş Senaryolarından Çoklu Sensör Verilerine#

Cosmos3-Nano-Transfer-Auto, çevrimdışı sentetik sürüş verisi üretimi için çift yönlü (bidirectional) bir modeldir. Balıkgözü kameralar dahil olmak üzere 11 adede kadar kamera açısında senkronize video üretir ve ortak RGB–LiDAR üretimini destekler. Kamera başına Dünya Senaryo Haritası (WSM) kontrolleri sahne yapısını ve trafik hareketini belirlerken, metin istemleri görünümü yönlendirir. Geliştiriciler, sahne görünümünü sabitlemek için isteğe bağlı başlangıç RGB görüntüleriyle birlikte çevresel koşulları değiştirerek eğitim ve değerlendirme kapsamını genişletebilirler. Ortak LiDAR üretimi ek olarak hizalanmış HD-harita mesafe kontrollerini kullanır. Transfer-Auto ayrıca Cosmos'u kendi sensör kurulumlarınıza uyarlamak için güçlü bir temel görevi görür.