Önceden Eğitilmiş Otoregresif Görüntü Modellerinde Serbest Sıralı Üretimin Kilidini Açmak

Otoregresif Görüntü Modellerinde Esneklik Sorunu ve Mevcut Maliyetler#

Otoregresif (AR) görüntü üreticileri teoride oldukça güçlü olsa da pratikte sabit bir tarama sırası (raster-scan order) ile eğitildikleri için esnek değildir. Bu sabit sıra, görüntü dağılımının tek bir çarpanlara ayrılmış halini modele kodlar ve modelin çıkarım (inference) aşamasında iç boyama (inpainting), dış boyama (outpainting) veya düzenleme yapmasını engeller.

Mevcut çözümler ve ayrık difüzyon (discrete-diffusion) ailesi bu sorunu aşmak için modelleri farklı token sıralamalarının bir karışımıyla sıfırdan eğitir. Ancak bu yaklaşım ciddi dezavantajlar barındırır:

• Standart tarama sırasıyla yapılan eğitime kıyasla yaklaşık 3 kat daha fazla hesaplama maliyeti gerektirir.
• Ayrık difüzyon modelleri, yapıları gereği KV önbellekleme (KV caching) ve vLLM gibi standart AR çıkarım ekosistemi araçlarıyla olan uyumluluğu feda eder.

Yazılım mühendisliği ve sistem mimarisi açısından bakıldığında, mevcut üretim hattını (inference stack) bozmak ve sıfırdan yüksek maliyetli eğitimler yapmak sürdürülebilir değildir. Araştırmacılar bu maliyete gerek olmadığını savunmaktadır; çünkü önceden eğitilmiş bir AR modeli görüntü token'ları üzerindeki birleşik dağılımı zaten öğrenmiştir. Eksik olan şey bilgi değil, bu bilgiyi ardışık olmayan koşullu yollarla ifade etme yeteneğidir.

İki Bileşenli Uyarlama Tarifi#

Önceden eğitilmiş modelleri serbest sıralı (any-order) üreticilere dönüştürmek için iki temel bileşenden oluşan pratik bir yöntem önerilmektedir:

• Gelecek Farkındalıklı Konumsal Gömmeler (Future-Aware Positional Embeddings): İhmal edilebilir bir ek yük ile hedef konumun tanımlanabilirliği (identifiability) problemini çözer.
• Sıralama Müfredatı (Ordering Curriculum): Önceden eğitilmiş model çözümünden başlayarak iyi bir serbest sıralı optimizasyon noktasına doğru kararlı bir geçiş yolu çizer.

Deneysel Sonuçlar ve Geliştiriciler İçin Pratik Çıkarımlar#

Önerilen yöntem, iki farklı mimari ve iki farklı ölçekteki dört temel modele (LlamaGen-L/XL ve RAR-L/XL) uygulanmıştır. Elde edilen bulgular, Ölçeklendirme ve Optimizasyon süreçleri için kritik dersler sunmaktadır:

• Yüksek Performans: ImageNet iç boyama görevinde MaskGIT modelini önemli ölçüde geride bırakır (FID 6.21 vs. 10.44), dış boyamada üstünlük sağlar ve MAR-L ile rekabetçi sonuçlar üretir.
• Düşük Ek Maliyet ve Ödünleşim: Bu esneklik karşılığında sınıf koşullu FID değerinde yalnızca 1.2-1.9 oranında küçük bir artış yaşanır ve ön eğitimin ötesinde sadece %13-%33 arasında ek hesaplama maliyeti gerekir.
• Altyapı Uyumluluğu: Standart AR çıkarım yığınına (KV caching, vLLM) hiç dokunulmadan mevcut sistem korunur.

Pratik bir çıkarım olarak; görüntü düzenleme, iç boyama ve dış boyama yeteneklerinin otoregresif modellere sıfırdan eklenmesine gerek yoktur. Doğru ince ayar (fine-tuning) ve konumsal temsil teknikleriyle halihazırda var olan modellerin içindeki bu potansiyelin kilidi açılabilir. Uygulama kodlarına https://github.com/Ordered-AR/unlockedadaptation adresinden, makale detaylarına ise https://huggingface.co/papers/2610.39293 bağlantısından erişilebilir.