openbmb/MiniCPM-V-4.7-35B-A3B: Cihaz Üstü Çok Modlu Model ve Yapılandırılmış Araç Çağırma Mimarisi

Model Genel Bakışı ve Temel Metrikler#

Hugging Face platformunda öne çıkan openbmb/MiniCPM-V-4.7-35B-A3B, cihaz üzerinde (on-device) yüksek verimlilikle çalışmak üzere tasarlanmış, hafif (lightweight) ve çok modlu (multimodal) bir yapay zekâ modelidir. Görsel ve metin girdilerini bir arada işleyebilen (image-text-to-text) model; transformers, safetensors, minicpmv4_7 ve minicpm-v etiketleriyle ekosisteme sunulmuştur. Topluluk tarafında 630 indirme ve 358 beğeniye ulaşan model, kaynak kısıtlı ortamlarda dahi güçlü çok modlu çıkarım kabiliyeti vadeder.

Belirteç Mimarisi ve Çok Modlu İçerik Doğrulama#

Modelin metin üretim ve şablon akışı, belirli kontrol belirteçleri (special tokens) temelinde yapılandırılmıştır:

• eos_token: <|im_end|> (üretimin sonlandığını belirtir)
• pad_token: <|endoftext|> (dolgu belirteci)
• unk_token: <unk> (bilinmeyen girdiler için)

Konuşma şablonundaki Jinja makroları, girdi tiplerini sıkı bir denetimden geçirir. Çok modlu verilerde görseller <|image_pad|> ve videolar <|video_pad|> yer tutucuları ile işlenir. Yazılım mimarisi açısından kritik bir kural olarak, sistem iletilerinin (system) kesinlikle görsel veya video içeremeyeceği tanımlanmış; aksi durumlarda doğrudan istisna (raise_exception) fırlatılacak bir doğrulama katmanı kurgulanmıştır.

Yapılandırılmış Araç Çağırma (Tool Calling) Formatı#

Model, harici fonksiyonları tetiklemek için katı kurallara bağlı bir XML araç çağırma protokolü yürütür. Sisteme araç listesi verildiğinde, JSON tanımları otomatik olarak sistem istemine eklenir ve fonksiyon çağrıları şu hiyerarşiyle üretilir:

• Dış blok: <tool_call> ve </tool_call>
• Fonksiyon tanımı: <function=fonksiyon_adi> ve </function>
• Parametre blokları: <parameter=parametre_adi>değer</parameter>

Bu şablon yapısında yazılım geliştiriciler için dikkat çeken en önemli yönerge; modelin araç çağırma gerekçesini (reasoning) çağrı bloğundan önce doğal dille yazabilmesi, ancak çağrı bloğundan sonra hiçbir ek metin üretememesidir. Eğer çağrılabilecek bir fonksiyon yoksa, model araçlardan hiç bahsetmeden standart yanıt üretimine devam eder.

Çok Adımlı Ajan Döngüsü ve Pratik Çıkarımlar#

Model şablonundaki multi_step_tool mantığı, çok adımlı otonom ajan (multi-step agent) akışlarını doğrudan şablon seviyesinde destekler:

• Mesaj geçmişi sondan başa taranarak son kullanıcı sorgusu ve araç yanıtları (<tool_response>...</tool_response>) tespit edilir.
• Cihaz üstü çalışan bir modelde XML tabanlı standart bir araç çağırma yapısının bulunması, istem mühendisliğini kolaylaştırır ve JSON ayrıştırma kaynaklı çalışma zamanı hatalarını en aza indirir.
• Geliştiriciler için bu yapı, edge bilişim senaryolarında harici API'lerle ve yerel fonksiyonlarla güvenilir entegrasyon kurmayı mümkün kılar.

---

Bu konuyu derinlemesine öğrenmek isterseniz: Tool Calling ve Multi-Step Agent'lar modülüne göz atın.