Xiaomi-Lens-0 Teknik Raporu: Görsel Temsillerle İnce İşi Bölgesel Anlama ve Akıl Yürütme

Çok Modlu Modellerde Bölgesel Anlama Sorunu ve Çözüm Yaklaşımı#

Çok modlu büyük dil modelleri (MLLM'ler), görüntülerin tamamı hakkındaki soruları yanıtlama konusunda oldukça başarılı olsa da, ince ayrıntılı bölgesel anlama (fine-grained region understanding) görevlerinde hâlâ zorluk yaşamaktadır. Bu durumun temel nedeni, yalnızca metin odaklı denetimin (text-only supervision), bir yanıtı hangi görsel bölgelerin desteklediğini hiçbir zaman açıkça belirtmemesidir. Bu boşluğu kapatmak amacıyla, Qwen3.5 üzerine inşa edilen ve kendi görsel temsillerinden maskeler tahmin edebilen 4 milyar (4B) parametreli bir MLLM olan Xiaomi-Lens-0 sunulmaktadır.

Mimari Yapı ve Görsel Latentlerle Akıl Yürütme#

Xiaomi-Lens-0, ek bir segmentasyon kodlayıcısına (segmentation encoder) ihtiyaç duymadan maske denetimini paylaşılan ana omurgaya (shared backbone) ulaştıran verimli bir mimari kullanır:

• Hafif Kod Çözücü (Lightweight Decoder): Görsel kodlayıcı yama özelliklerini (vision-encoder patch features), dil modelinin maske-token durumları olan görsel latentlerle (visual latents) birleştirir. Böylece harici bir segmentasyon modülü eklemeden doğrudan omurga üzerinde bölgesel öğrenme sağlanır.
• Görsel Latentlerle Düşünme: Her bir latent bir maskeye dönüştürüldüğü (decode) için model, akıl yürütme (reasoning) sürecini bölgeye özgü latentlerle iç içe geçirebilir ve görsel latentlerle düşünebilir.
• Temellendirilmiş Düşünce Zinciri (Grounded Chain-of-Thought): Temellendirilmiş akıl yürütme izleri (grounded reasoning traces), modelin düşünce zinciri (chain-of-thought) sırasında ziyaret ettiği görsel bölgeleri doğrudan denetler.

Performans Sonuçları ve Kıyaslamalar#

Bu mimari tasarım, hem bölgesel kavrama hem de genel algı kıyaslamalarında belirgin performans artışları sağlamaktadır:

• RefCOCO, RefCOCO+ ve RefCOCOg veri setlerinin sekiz alt bölümünün (splits) tamamında Xiaomi-Lens-0, referanslı kavrama (referring comprehension) görevinde Qwen3.5 modeline kıyasla ortalama 5.6 puan artış elde etmektedir.
• Karşılaştırılan tüm modeller arasında en yüksek segmentasyon cIoU değerine ulaşmaktadır.
• Tüm genel algı kıyaslamalarında (perception benchmarks) temel aldığı Qwen3.5 modelini geride bırakmaktadır.

Yazılım Geliştirme ve Öğrenme Açısından Pratik Çıkarımlar#

Modern yapay zeka mühendisliği ve uygulama geliştirme süreçleri açısından bu teknik rapor önemli pratik dersler barındırmaktadır:

• Harici Modüller Yerine Birleşik Mimari: Görüntü işleme boru hatlarında (pipelines) LLM'in yanına SAM gibi ayrı bir segmentasyon modeli eklemek, bellek tüketimini ve çıkarım gecikmesini (inference latency) artırır. Xiaomi-Lens-0'ın gösterdiği gibi hafif bir kod çözücü ile mevcut patch features ve token states yapılarını birleştirmek, üretim ortamında (production) çok daha hafif ve ölçeklenebilir bir servis imkanı sunar.
• Açıklanabilir ve Doğrulanabilir Akıl Yürütme: Modelin chain-of-thought adımlarında hangi piksellere veya bölgelere odaklandığını maskeler üzerinden kanıtlaması, halüsinasyon tespitini kolaylaştırır. Doküman analizi, tıbbi görüntüleme veya arayüz otomasyonu (GUI agents) geliştirirken modelin ürettiği cevabı görsel bölgeyle doğrulamak sistem güvenilirliğini doğrudan artırır.
• Verimli Model Boyutu (4B): 4 milyar parametrelik kompakt bir modelin doğru denetim sinyalleriyle (supervision) çok daha yüksek doğruluklara ulaşması, uç cihazlarda (edge) ve düşük maliyetli GPU sunucularında yüksek hassasiyetli görsel ajanlar çalıştırmanın mümkün olduğunu kanıtlamaktadır.

---

Bu konuyu derinlemesine öğrenmek isterseniz: İleri Akıl Yürütme Teknikleri modülüne göz atın.