Yaklaşık 21 Bin Dolara Eğitilen Metinden Görüntüye Model: Pyramid-JiT (P-JiT) Saha Notları

Giriş ve Pyramid-JiT (P-JiT) Stres Testi#

Linum ekibi tarafından gerçekleştirilen 21 bin dolarlık bu eğitim çalışması, bir sonraki video modellerine giden yolda önemli bir kavram kanıtı (proof-of-concept) niteliği taşıyor. 2 milyar (2B) parametreli Pyramid-JiT modeli, boyutuna kıyasla şaşırtıcı derecede başarılı sonuçlar verdiği için Apache 2.0 ağırlıklarıyla deneysel bir sürüm olarak paylaşıldı. Modelin test edildiği 249 örnek; insan (57), hayvan (42), bina (20), ürün (43), manzara (19) ve stilize (68) kategorilerinden oluşuyor.

İki kişilik bir araştırma laboratuvarı olan Linum, animasyona erişimi demokratikleştirecek yaratıcı araçlar geliştirme amacıyla kendi üretken video modellerini sıfırdan eğitiyor. Günümüzdeki üretken video modellerinin hikaye anlatımı için kullanışlı olmamasının altında iki temel kusur yatıyor:

• Çok yavaş ve pahalı olmaları: Yaratıcılık; üretme, ince ayar yapma ve geliştirme adımlarından oluşan yinelemeli (iteratif) bir süreçtir. Yüksek maliyet ve düşük hız bu döngüyü kırar.
• Uygun kontrollerden yoksun olmaları: Yaratıcı süreçte gereken hassas yönlendirme imkanları mevcut modellerde yetersiz kalmaktadır.

Mimari Darboğazlar ve Sıkıştırma Yaklaşımı#

Linum v3 geliştirilirken birincil hedef çıkarım (inference) maliyetlerini ciddi ölçüde düşürmekti. Eğitim ve çıkarım süreçlerindeki temel darboğazın nedeni ve çözüm adımları şu temel ilkelere dayanıyor:

• Attention Darboğazı ($O(n^2)$): Video eğitim ve çıkarımında asıl darboğaz, karesel karmaşıklığa sahip olan dikkat (attention) mekanizmasıdır. Daha agresif bir sıkıştırma ile bağlam penceresi (context window) küçültülerek hem eğitim hem de çıkarım maliyetleri keskin biçimde düşürülebilir.
• VAE Modellerinin Sınırları: Geleneksel olarak sıkıştırma işlemi Variational Autoencoder (VAE) gibi ayrı bir uzman modelle yapılır. Ancak VAE'lerin ulaşabileceği sıkıştırma oranında ampirik bir tavan vardır. Minimax H3'teki 2B çözücü gibi yaklaşımlar geleneksel VAE üzerinde ağır mimari değişiklikler gerektirir. Daha da önemlisi, VAE'yi yeniden yapılandırma (reconstruction) görevinde iyileştirmek, alt akıştaki difüzyon modelinde daha kötü üretim sonuçlarına yol açabilmektedir.
• VAE'yi Ortadan Kaldırmak: Difüzyon modelleri VAE'lerden çok daha güçlü bir üretken model ailesidir. Başka bir modelin gizli uzayını (latent space) kullanmak yerine, VAE'yi tamamen devre dışı bırakarak difüzyon modelinin kendi kullanım durumuna özel bir gizli uzay öğrenmesi sağlanabilir; böylece sıkıştırma ve üretim aynı anda, daha hızlı öğrenerek gerçekleştirilir.
• Pyramid-JiT (P-JiT) ve 32×32 Token Azaltımı: Standart bir Wan VAE + DiT difüzyon modeli olan Linum v2 (FLUX-2 gibi çoğu modelde olduğu üzere) 16×16 token azaltımı kullanıyordu. Piksel uzayında çalışan yeni P-JiT mimarisi ise 32×32 token azaltımı sağlıyor. Bu sayede $512^2$ boyutundaki bir görüntü, daha önce $256^2$ görüntü için kullanılan token sayısıyla temsil edilebiliyor. Sonuç olarak attention bağlam penceresinde 4 kat küçülme elde edilirken, model Linum v2'ye kıyasla 11 kat daha az örnekle yakınsıyor (converge ediyor).

Yazılım Geliştirme ve Mühendislik Çıkarımları#

Üretken yapay zeka sistemleri geliştiren mühendisler için bu çalışmadan çıkarılabilecek kritik dersler şunlardır:

• Sistem Darboğazlarına Odaklanın: Ölçeklendirme ve optimizasyon süreçlerinde $O(n^2)$ attention maliyetini azaltmak için token temsilini küçültmek, doğrudan donanım bütçesini (21 bin dolar gibi erişilebilir seviyelere) ve çıkarım hızını belirler.
• Bileşenleri Uçtan Uca Düşünün: Ayrı bir ön-işleme veya sıkıştırma modelini (VAE) tek başına optimize etmek, ana modelin (difüzyon) üretim kalitesini bozabilir. Mimari basitleştirme ve uçtan uca öğrenme, ara katmanların getirdiği darboğazları ortadan kaldırır.