Marigold V2: Tek Görüntüden Derinlik Tahmininde Difüzyon Transformer'larını Yeniden Ele Almak

Giriş ve Problem Tanımı

Tek görüntülü derinlik kestirimi (monocular depth estimation), sahne rekonstrüksiyonu, hesaplamalı fotoğrafçılık ve robotik gibi geniş bir uygulama yelpazesine sahip, her yerde karşımıza çıkan temel bir bilgisayarlı görü problemidir. Ancak tek bir iki boyutlu görüntüden üç boyutlu derinlik haritası çıkarmak, doğası gereği matematiksel olarak eksik tanımlanmış ve çözümü oldukça zor (ill-posed) bir görevdir. Bu alandaki olgunluğa rağmen, güncel derin öğrenme modelleri dağılım dışı (out-of-distribution) verilere genelleme yapmakta ve yüksek kaliteli, keskin derinlik haritaları üretmekte hâlâ ciddi zorluklar yaşamaktadır.

Marigold V2 ve DiT Mimarisi

Bu çalışmada araştırmacılar, Difüzyon Transformer (DiT) mimarisiyle güçlendirilmiş modern görüntü üretme ve düzenleme modellerini en gelişmiş tekli derinlik tahminleyicilerine dönüştüren Marigold tekniklerini yeniden ele almaktadır. Sunulan yöntemler, önceden eğitilmiş çok adımlı akış eşleştirme (flow-matching) modellerinden tek adımlı çıkarım (single-step inference) gerçekleştirmeyi hedefler. Model kapasitesi eksiksiz korunurken, gerektiğinde uygulanan kuantizasyon (quantization) sayesinde çalıştırma maliyeti oldukça düşük tutulur.

Naif Eğitimin Sorunları ve İki Temel Çözüm

Doğrudan ve naif eğitim protokollerinin model çıktılarında çeşitli yapaylıklara (artifacts) yol açtığı tespit edilmiş ve çalışmada buna yönelik iki etkili çözüm sunulmuştur:

Anlamsal Özellik Hizalaması: Modelin dahili temsillerinin, yer gerçeği (ground-truth) verisinden çıkarılan zengin anlamsal özniteliklerle hizalanması.
İki Aşamalı İnce Ayar Protokolü: Yeni bir Sinkhorn tabanlı kayıp (Sinkhorn-based loss) fonksiyonu etrafında yapılandırılmış 2 aşamalı bir ince ayar protokolünün benimsenmesi.

Deneysel Başarımlar ve Kapsam

Uygulanan bu iki temel çözüm, dağılım dışı testlerde olağanüstü genelleme kabiliyetine sahip, çok daha net ve temiz derinlik haritaları sağlamıştır:

Kantitatif İlerleme: Model, KITTI ve ETH3D veri kümelerinde önceki en iyi yöntemlere kıyasla AbsRel metriğinde %16 ile %26 arasında kayda değer bir başarım artışı elde etmiştir.
Niteliksel Detay: Önceki modellerin ayrıştıramadığı kürk, karmaşık yaprak dokuları ve saç teli inceliğindeki kenar detayları kusursuz biçimde çözümlenmektedir.
Geniş Görev Yelpazesi: Marigold V2, derinlik kestiriminin yanı sıra yüzey normalleri tahmini (surface normals estimation) ve içsel görüntü ayrıştırma (intrinsic image decomposition) gibi diğer yoğun regresyon (dense regression) görevlerinde de son teknoloji (state-of-the-art) sonuçlara ulaşmaktadır.

Yazılım Geliştirme ve Öğrenme Açısından Pratik Çıkarımlar

Üretken Temellerin Dönüştürülmesi: Büyük üretken modelleri (DiT ve flow-matching) sıfırdan eğitmek yerine, akıllı ince ayar teknikleriyle yoğun regresyon görevlerine uyarlamak muazzam kaynak ve zaman tasarrufu sağlar.
Üretim Ortamında Tek Adımlı Çıkarım: Çok adımlı difüzyonun tek adıma indirgenmesi ve kuantizasyonla birleştirilmesi, yüksek model kapasitesini korurken düşük gecikmeli üretim sistemleri inşa etmeye olanak tanır.
Gelişmiş Kayıp Fonksiyonları ile Kenar Keskinliği: Piksel düzeyindeki naif kayıplar yerine anlamsal hizalama ve Sinkhorn kayıpları kullanmak, derin öğrenme projelerinde kenar yapaylıklarını ortadan kaldırır.

Orijinal kaynağa buradan ulaşabilirsiniz.