OpenMOSS-Team/MOSS-Image-SFT — Hugging Face'te Öne Çıkan Model

OpenMOSS ekibi tarafından geliştirilen MOSS-Image-SFT, MOSS-Image-Base modelinden türetilmiş, denetimli ince ayar (Supervised Fine-Tuning - SFT) uygulanmış bir metinden görsele (text-to-image) üretim modelidir. Hugging Face üzerinde kısa sürede 2087 indirme ve 369 beğeni toplayan bu model, hem İngilizce hem de Çince (en, zh) dil desteği sunmaktadır. Temel modelle aynı mimariyi ve çıkarım (inference) hattını paylaşırken; doğal dil istemlerini (prompts), etiket dizilerini ve metin yerleşimi ile nesne düzenini kontrol etmek için kullanılan JSON tabanlı mizanpajları (layouts) destekler.

Base ve SFT Karşılaştırması#

Temel model (MOSS-Image-Base) ile karşılaştırıldığında, SFT versiyonu özellikle görsel içi metin gruplamasında çok daha net sonuçlar üretir ve beyaz tahta (whiteboard) gibi karmaşık yerleşimlerde daha düzenli bir organizasyon sağlar. Yazılım geliştiriciler için bu durum, görsel üretim süreçlerinde tipografi ve mekansal kontrol gerektiren arayüz veya poster tasarımlarında SFT modellerinin doğrudan üretime daha hazır olduğunu göstermektedir.

Hızlı Başlangıç (Quick Start)#

Modeli çalıştırmak için Python 3.10+ ve CUDA destekli bir NVIDIA GPU gereklidir. Ortamınıza uygun PyTorch 2.9+ sürümünü kurduktan sonra aşağıdaki bağımlılıkları yükleyebilirsiniz:

pip install "diffusers>=0.38" "transformers>=5.3" "accelerate>=1.10" "safetensors>=0.6" "Pillow>=10"

Python üzerinden diffusers kütüphanesi ile modeli şu şekilde çağırabilirsiniz:

import torch
from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained(
    "OpenMOSS-Team/MOSS-Image-SFT",
    custom_pipeline="pipeline_moss_image",
    trust_remote_code=True,
    torch_dtype={"default": torch.bfloat16, "vae": torch.float32},
)
pipe.scheduler = type(pipe.scheduler).from_config(pipe.scheduler.config)
pipe.to("cuda")

prompt = '''A wide view of a refrigerator beside a kitchen counter with a fruit bowl. A small sticky note on the refrigerator door is handwritten in Chinese: "记得买牛奶和鸡蛋！ 牛奶两盒，鸡蛋一打。 顺便带一袋面包。"'''

image = pipe(
    prompt,
    height=1024,
    width=1024,
    num_inference_steps=50,
    guidance_scale=3.0,
    uncond_skip_layers=[22],
    generator=torch.Generator("cpu").manual_seed(42),
).images[0]

image.save("refrigerator_note.png")

Mühendislik ve Mimari Çıkarımlar:

• Karma Hassasiyet (Mixed Precision): Transformer ve metin kodlayıcı (text encoder) bellek verimliliği için bfloat16 kullanırken, renk ve detay kayıplarını önlemek adına VAE (FLUX.2 small decoder tabanlı) ve başlangıç gürültüsü float32 hassasiyetinde çalışır.
• Ekosistem Entegrasyonu: Model ve özel pipeline kodu otomatik olarak indirilir ve önbelleğe alınır. Ayrıca ComfyUI Manager üzerinden yerel eklenti olarak kurulabilir.

Örnekleme Ayarları (Sampling Settings)#

Modelin optimum üretim kalitesi için varsayılan üretim parametreleri şunlardır:

• Sampler (Örnekleyici): Flow-matching Euler
• Steps (Adım Sayısı): 50
• CFG (Yönlendirme Ölçeği): 3.0
• Shift (Kaydırma): 5
• Layer Skipping (Katman Atlama): Negatif dal, katman indeksi 22 (sıfır tabanlı)
• Negative Prompt (Negatif İstem): Boş (Empty)

Varsayılan yönlendirme her adımda iki transformer ileri beslemesi (forward pass) kullanır. Negatif dalda katman atlamayı devre dışı bırakmak için uncond_skip_layers=[] parametresini geçebilir veya özel bir negative_prompt tanımlayabilirsiniz. Python API'sinde görsel boyutlarının 16'nın pozitif katları olması gerektiği unutulmamalıdır.

İstem Geliştirici Yeteneği (Prompt Enhancer Skill)#

MOSS-Image Prompt Enhancer, basit görsel fikirlerini detaylı altyazılara veya mekansal JSON mizanpaj istemlerine dönüştüren bir araçtır. Yerel dosya ve Python araçlarına sahip GPT-6 ailesi ajanlar (agents) için tasarlanmıştır. Paket içerisindeki betik, piksel koordinat taslaklarını merkezlenmiş tam sayı koordinatlarına sahip kompakt bir JSON yapısına dönüştürür. Ajanınızın yetenekler dizinine ilgili klasörü kurup $moss-image-prompt-enhancer komutunu çağırarak ürettiğiniz yapılandırılmış çıktıyı doğrudan modelin pozitif istemine yapıştırabilirsiniz.