Hoş Geldin Le Chonk: Hugging Face'te Mistral Large 4

Mistral tarafından geliştirilen Mistral Large 4 (nam-ı diğer Le Chonk), çok modlu (multimodal), çok dilli ve Mixture-of-Experts (MoE) mimarisine sahip yeni nesil bir modeldir. Metin ve görselleri girdi olarak alıp metin üretebilen bu model, yaklaşık 1 trilyon toplam parametreye, 49 milyar aktif parametreye ve 1 milyon token bağlam penceresine (context window) sahiptir.

Model iki resmi varyantla sunulmaktadır:

• FP8
• NVFP4

Ayrıca Unsloth ve llama.cpp ekibi tarafından oluşturulan GGUF formatları da mevcuttur. Model, hizmet olarak model (model-as-a-service) sunumlarına sınırlamalar getiren bir MIT türevi olan Mistral Ecosystem Open-Weight License altında dağıtılmaktadır. Mistral Large 4 özellikle siber güvenlik, kodlama ajanları (coding agents) ve çok modluluk alanlarında oldukça güçlüdür.

İçindekiler#

• Mistral Large 4 ile Neler Yeni?
• Siber Güvenlik Yetenekleri
• Mimari
  • Görsel Kodlayıcı (Vision encoder)
• Kıyaslama (Benchmark) Sonuçları
• Çıkarım (Inference) Desteği
  • Transformers
  • vLLM
  • Llama.cpp
• TRL ile İnce Ayar (Fine-tuning)
• Çıkarım Uç Noktaları (Inference Endpoints)
• Dell Enterprise Hub
• Deneyin

Mistral Large 4 ile Neler Yeni?#

Mistral Large 4, geniş bir uzman havuzunu (pool of experts) seyrek dikkat (sparse attention) mekanizması ve Pixtral görsel kodlayıcısı ile birleştirir. Dil modeli her bir token için küçük bir uzman grubu seçerken, dikkat indeksleyicisi (attention indexer) önceki hangi token pozisyonlarına dikkat edileceğini belirler. Bu yapı iki farklı seyreklik (sparsity) biçimi sunar: biri ileri beslemeli ağları (feed-forward networks), diğeri ise bağlam pozisyonlarını seçer. Tüm kontrol noktalarına (checkpoints) Mistral Large 4 koleksiyonundan ulaşılabilir.

Yazılım Geliştirme ve Öğrenme Çıkarımı: Modeller: Hangisi, Ne Zaman? ve Ölçeklendirme ve Optimizasyon perspektifinden bakıldığında, 1 trilyon parametreli bir modelin yalnızca 49 milyar aktif parametre ve çift yönlü seyreklik ile çalışması, devasa bağlam pencerelerinde (1M token) yüksek performansı daha düşük hesaplama maliyetiyle elde etmenin anahtarıdır. Büyük kod tabanlarını analiz eden kodlama ajanları tasarlarken bu mimari yaklaşım bellek darboğazlarını aşmayı sağlar.

Siber Güvenlik Yetenekleri#

Mistral Large 4, açık kaynaklı yazılımlardaki gerçek bir güvenlik açığını yeniden üretmeyi ve ardından yazılıma yama (patch) uygulamayı gerektiren Artificial Analysis Cyber Index testinde %82 başarı elde etmektedir. Mistral, birçok kapalı sınır (frontier) modelin bu işi yapmayı reddettiği için aynı testte sıfıra yakın puan aldığını bildirmektedir. Bir güvenlik açığını düzeltmek genellikle onu yeniden üretmeyi gerektirdiğinden, bu yetenek savunmacılar için hayati önem taşır.

Mistral'in şirket içi testlerinde model; özel olarak eğitilmemiş olmasına rağmen zararlı yazılım (malware) analizi, güvenlik açığı önceliklendirme ve tespit kuralları yazma konularında da faydalı olmuştur. Mistral, modeli esas olarak savunma amaçlı güvenlik çalışmaları için konumlandırmaktadır. Güvenlik açığı araştırmaları ve olay müdahalesi (incident response) girdileri genellikle birer saldırı gibi göründüğünden, kapalı kaynaklı filtreler bunları engelleyebilir ve harici bir API'ye bağımlı olan ekipler kritik bir olayın ortasında erişimi kaybedebilir. Açık ağırlıklı (open weight) modeller ise hem kullanım politikasını hem de dağıtımı (deployment) tamamen kullanıcının kontrolüne bırakır.

Buna rağmen model zararlı istekleri reddetmeye devam etmektedir: JailbreakBench, StrongREJECT ve AgentHarm üzerindeki siber istemlerde (prompts) ortalama reddetme oranı diğer tüm açık ağırlıklı modellerden daha yüksektir.

Topluluk geliştiricileri için Mistral Large 4 gibi açık ağırlıklı bir model, pek çok alt kullanım alanının (downstream use cases) kilidini açar. Geliştiriciler kendi kod tabanları, çökme günlükleri (crash logs) ve zararlı yazılım örnekleri etrafında kendi siber sistemlerini kurabilir veya TRL kullanarak daha küçük modellere ince ayar (fine-tuning) yapabilirler.