Uç Cihazlar İçin Çok Modlu Açık d1 Karar Modelleri
Kaynak: Hugging Face Blog
İçindekiler 4 başlık
Liquid AI ekibi, uç bilişim donanımları için optimize edilmiş açık ağırlıklı d1 karar modeli ailesinin iki yeni üyesini duyurdu: d1-3B ve deneysel aşamadaki d1-omni-600M.
- Decision Index 0.2.1'de 10B Altı Liderlik: d1-3B, 48.57 puan alarak mevcut tüm 4B ve 9B modellerin yanı sıra Decider 35B-A3B'yi (47.11) geride bırakmıştır.
- Çok Modlu (Multimodal) Mimari: d1-3B metin ve görüntü girdilerini desteklerken; d1-omni-600M metin ve görüntü ya da metin ve ses kombinasyonlarını işleyebilmektedir.
- Düşük Gecikmeli Yüksek Hız: d1-3B bir soruyu NVIDIA Jetson AGX Thor'da 16 ms, Jetson AGX Orin'de 26 ms ve Jetson Orin Nano'da 50 ms içinde yanıtlamaktadır.
Uç Cihazlar İçin Karar Modelleri Nasıl Geliştirildi?#
Bu modeller, Liquid Foundation Models (LFM) mimarisi üzerine geliştirilmiştir. Belirteç (token) üreten klasik üretken yapay zeka modellerinin aksine, karar modelleri tek bir ileri geçişte (single forward pass) doğrudan sonuç üretir. Modeller iki farklı omurga üzerinden eğitilmiştir:
- d1-3B: En güncel, salt kod çözücü (decoder-only) VLM olan LFM2.5-VL-3B omurgasıyla eğitilmiştir; girdi olarak metin ve görsel kabul eder.
- d1-omni-600M: Çift yönlü kodlayıcı (bidirectional encoder) yapısındaki LFM2.5-Encoder-350M temel alınarak geliştirilmiştir. Görüntü ve ses kodlayıcıları eklenerek üç modaliteyi de destekleyen erken aşama araştırma sürümüdür.
Kıyaslama (Benchmark) Sonuçları#
Modeller; okuduğunu anlama, toksisite tespiti, niyet sınıflandırma, tıbbi soru-cevap ve diller arası anlamayı içeren 7 genel veri kümesinde değerlendirilmiştir. d1-3B, 82.9 ortalama puanla Decider 4B'nin üzerine çıkarak tablonun en yüksek derecesine ulaşmıştır. d1-omni-600M ise parametre sayısının yalnızca dörtte biriyle 78.4 puan alarak Decider 2B'yi (77.1) geride bırakmıştır.
| Kıyaslama | d1-omni-600M | d1-3B | Decider 2B | Decider 4B |
|---|---|---|---|---|
| SQuAD 2.0 | 74.0 | 83.3 | 67.7 | 76.0 |
| Civil Comments | 95.8 | 93.3 | 93.6 | 92.8 |
| MASSIVE intent | 86.1 | 86.9 | 81.1 | 88.3 |
| PubMedQA | 61.3 | 68.3 | 65.7 | 63.3 |
| BoolQ | 77.7 | 86.3 | 87.3 | 89.0 |
| XNLI | 74.7 | 85.6 | 85.0 | 88.6 |
| PAWS-X | 79.5 | 76.4 | 59.5 | 69.8 |
| Ortalama | 78.4 | 82.9 | 77.1 | 81.1 |
Standart görsel testlerinde d1-3B'nin omurgasındaki görsel yeteneklerini koruduğu, d1-omni-600M'in ise her üç modaliteyi işleyebildiği doğrulanmıştır. Decision Index v0.3 yalnızca kapalı bir görsel ayrımı sunduğundan ve ses karar kıyaslamaları henüz açık bir araştırma problemi olduğundan görsel ve işitsel metrikler tabloya eklenmemiştir.
Hız ve Çıkarım Performansı#
NVIDIA iş birliğiyle d1-3B; GeForce RTX 4090, Jetson AGX Thor, Jetson AGX Orin 64 GB ve Jetson Orin Nano donanımlarında test edilmiştir (d1-omni-600M için hız verisi paylaşılmamıştır).
- Uç Cihaz Çıkarımı: d1-3B, test edilen tüm uç cihazlarda tek bir soruyu 50 ms altında yanıtlar. Üç eşzamanlı soru, tek sorunun yalnızca 1.3 katı süre alır; Jetson AGX Thor üzerinde süre 16 ms'den 20 ms'ye çıkar.
- GPU Çıkarımı: GPU üzerinde d1-3B, bir soruyu 10 ms altında yanıtlarken 384px görseli her iki platformda da 18 ms altında işler.
Yazılım Geliştiriciler İçin Pratik Çıkarımlar#
Üretim ortamlarında ve IoT sistemlerinde token üreten klasik LLM'ler bellek ve gecikme darboğazı yaratır. d1 karar modellerinin tek ileri geçişli mimarisi; robotik sistemler, niyet tespiti ve içerik denetimi gibi alanlarda deterministik, düşük kaynak tüketen ve mikro-saniye hassasiyetinde kararlar almayı mümkün kılar.
Bu konuyu derinlemesine öğrenmek isterseniz: Edge Runtime ve Production Optimizasyonu modülüne göz atın.
Kaynak ve atıf
Bu yazı, Hugging Face Blog üzerinde yayımlanan içerikten yararlanılarak Edumints tarafından yapay zekâ desteğiyle Türkçe hazırlandı. Ayrıntılar ve yazarların kendi anlatımı için orijinaline bakabilirsin:
- huggingface.co/blog/LiquidAI/open-d1