---
title: "Birleşik Çok Modelli Mimarilerde Görsel Dil Olarak Görüntü Belirteçleyicileri"
url: https://blog.edumints.com/birlesik-cok-modelli-mimarilerde-gorsel-dil-olarak-goruntu-b-trq70p5u
category: "Makine Öğrenmesi"
date: 2026-09-12T09:09:14.954Z
publisher: Edumints Blog
lang: tr-TR
source_name: "hfpapers"
source_url: https://huggingface.co/papers/2609.09143
---

# Birleşik Çok Modelli Mimarilerde Görsel Dil Olarak Görüntü Belirteçleyicileri

Görüntü belirteçleyicileri (image tokenizers), birleşik çok modelli (unified multimodal) yapay zekâ sistemlerinde modelin "görsel dilini" tanımlayan kritik bileşenlerdir. Buna rağmen mevcut literatürde belirteçleyiciler çoğunlukla izole edilmiş metriklerle ya da yalnızca anlama veya yalnızca üretim odaklı dar kıstaslarla test edilmektedir. Bu tür izole değerlendirmeler; görsel belirteçlerin (tokens) metin belirteçleriyle birlikte, yani ortak bir otoregresif yapıda eğitildiğinde nasıl davrandığını ve etkileşime girdiğini ortaya koymakta yetersiz kalır.

Bu eksikliği gidermek amacıyla araştırmacılar, saf otoregresif (pure-autoregressive) ve kontrollü bir test ortamı kurgulamıştır. Bu test ortamında; metin, görüntü, metinden-görüntüye (T2I) ve görüntüden-metne (I2T) tahmin görevlerine ait doğrulamaya dayalı kayıplar (validation loss), sürekli ön eğitim (continual pretraining) süreci boyunca takip edilmiştir. Bu kayıpların ölçeklenme (scaling) dinamikleri ve nihai görev başarılarıyla olan ilişkisi analiz edilerek, çok modelli öğrenilebilirlik (multimodal learnability) ve belirteçleyici tasarımı mercek altına alınmıştır.

## Dört Temel Araştırma Bulgusu

Yapılan deneyler sonucunda belirteçleyici seçimi ve ortak modellemeye dair dört temel bulgu elde edilmiştir:

1. **Görev Bazlı Kayıp Ayrımı:** Model kayıpları mutlaka görev türüne göre ayrı ayrı analiz edilmelidir; çünkü farklı görevler belirgin biçimde farklı ölçeklenme davranışları sergiler ve belirteçleyicileri birbirinden tamamen farklı şekillerde sıralar.
2. **Tahmin Uzayının Kayıp-Performans Etkisi:** Kayıp ile nihai performans arasındaki ilişki, hedeflenen belirteç uzayına doğrudan bağlıdır. Tek bir belirteçleyici sabit tutulduğunda hem T2I hem de I2T kayıpları üretim kalitesiyle güçlü korelasyon gösterir. Ancak farklı belirteçleyiciler kıyaslandığında, T2I kayıp-performans ilişkisi değişen görüntü-belirteç uzayı nedeniyle sapar. Buna karşılık, paylaşılan ortak bir metin sözlüğü üzerinden hesaplanan I2T kaybı çok daha kararlı ve tutarlı bir sinyal sunar. I2T kaybı, denetimli ince ayar (SFT) sonrasında hem görüntü üretimi hem de görsel anlama başarısıyla doğrudan örtüşür.
3. **Rekonstrüksiyon Yanılsaması:** Görüntüyü piksel düzeyinde daha aslına uygun biçimde yeniden oluşturan (better reconstruction) belirteçleyiciler, sanılanın aksine her zaman daha düşük görev kaybı veya daha güçlü bir nihai (downstream) model performansı sağlamaz.
4. **Metin Modelleme Üzerindeki Çapraz Etki:** Seçilen görüntü belirteçleyicisinin mimari yapısı, birleşik optimizasyon altında modelin genel metin modelleme kabiliyetini de doğrudan etkileyebilir.

Araştırmada ayrıca üç temel belirteçleyici tasarım boyutu olan ayrımcı (discriminator), anlamsal denetim (semantic supervision) ve sözlük boyutu (vocabulary size) vaka analizleriyle incelenmiş, bu eksenlerin ortak modelleme başarısına etkileri gösterilmiştir.

## Geliştiriciler İçin Pratik Çıkarımlar

- **Yalnızca Yeniden Oluşturma Kalitesine Güvenmeyin:** Çok modelli bir model eğitirken tokenizer seçimini sadece r-FID veya rekonstrüksiyon başarısına göre yapmayın; asıl önceliği birleşik eğitim sırasındaki öğrenilebilirliğe verin.
- **I2T Kaybını Ana Pusula Olarak Kullanın:** Farklı tokenizer mimarilerini kıyaslarken, paylaşılan metin uzayında hesaplandığı için en tutarlı başarı öncüsü olan I2T kaybını izleyin.
- **Metin Başarısını Takip Edin:** Görsel tokenizer entegrasyonu sonrasında, modelin saf metin yeteneklerinde bir gerileme olup olmadığını doğrulamak için metin kayıplarını düzenli denetleyin.

[[Orijinal kaynağa buradan ulaşabilirsiniz.](https://huggingface.co/papers/2609.09143)](https://huggingface.co/papers/2609.09143)

---

**Kaynak:** [hfpapers](https://huggingface.co/papers/2609.09143)
**Yayıncı:** [Edumints Blog](https://blog.edumints.com) · Alıntılarken bu URL'ye bağlantı verin: https://blog.edumints.com/birlesik-cok-modelli-mimarilerde-gorsel-dil-olarak-goruntu-b-trq70p5u