İçeriğe geç
edumintsBlog
LLM3 dk okuma

Kimi K3.1 Pro Model Ağırlıkları Yayınlandı

Kaynak: Hacker News

Paylaş
LLMEdumints Blog
İçindekiler 3 başlık

1. Model Tanıtımı#

Kimi K3.1 Pro, açık ağırlıklı (open-weight), doğal olarak çok modlu (natively multimodal) ve ajantik yeteneklere sahip 3 trilyon parametre sınıfındaki en yetenekli model olarak karşımıza çıkıyor. Kimi K3 temel alınarak yüzlerce alt alanda büyük ölçekli birleşik pekiştirmeli öğrenme (joint reinforcement learning) ile son eğitimden (post-training) geçirilen bu model, K3.1 serisinin ilk üyesidir.

1 milyon token'lık devasa bağlam penceresi (context window) sunan Kimi K3.1 Pro; kodlama, 3B (3D) tasarım oluşturma, finansal araştırma, olgusal doğruluk ve diğer ajantik yeteneklerde ciddi iyileştirmeler sağlıyor.

  • Pratik Çıkarım: Yazılım geliştiriciler için 1 milyon token bağlam penceresi, tüm bir kod tabanını veya kapsamlı teknik dokümantasyonu tek seferde modele besleyebilmek anlamına gelir. Bu durum, karmaşık RAG mimarilerine olan ihtiyacı azaltırken çok adımlı ajan (multi-step agent) iş akışlarında bağlam kopukluğunu önler. İlgili eğitim modülü: Modeller: Hangisi, Ne Zaman?

2. Model Özeti#

Modelin teknik mimarisi, devasa kapasiteyi verimli çıkarım (inference) ile dengelemek üzere tasarlanmıştır:

  • Mimari: Uzmanların Karışımı / Mixture-of-Experts (MoE)

  • Parametre Yapısı: Toplam 2.8T parametre, token başına aktif 104B parametre (896 uzmandan 16'sı seçilir + 2 paylaşılan uzman)

  • Katman ve Dikkat (Attention) Mimarisi: 93 katman (1 yoğun katman), 69 KDA + 24 Gated DSA (Uzun bağlam modellemesini daha verimli hale getirmek için Kimi K3'teki Gated MLA katmanları Gated DeepSeek Sparse Attention ile değiştirilmiştir)

  • Boyutlar ve İndeksleme: Dikkat gizli boyutu 7168, 96 dikkat başlığı, DSA indeks Top-K 2048, Latent MoE boyutu 3584, uzman başına gizli boyut 3072, kelime dağarcığı 160K ve 1.048.576 bağlam uzunluğu

  • Aktivasyon ve Görsel Kodlayıcı: SiTU-GLU aktivasyon fonksiyonu; 401M parametreli MoonViT-V2 görsel kodlayıcı (Metin ve Görüntü modalitesi)

  • Kuantizasyon: Niceleme farkındalıklı eğitim (QAT) ile MXFP4 ağırlıklar ve MXFP8 aktivasyonlar

  • Pratik Çıkarım: 2.8T toplam parametreye rağmen yalnızca 104B parametrenin aktif olması ve modelin doğrudan MXFP4/MXFP8 kuantizasyon desteğiyle gelmesi, kendi sunucularında (self-hosted) model çalıştıran ekipler için VRAM maliyetini ve gecikme süresini (latency) önemli ölçüde düşürür.

3. Değerlendirme Sonuçları#

Test sonuçları (aksi belirtilmedikçe) maksimum akıl yürütme çabası (reasoning effort max), temperature = 1.0 ve top-p = 0.95 parametreleriyle elde edilmiştir. Kimi K3.1 Pro; Claude Opus 5.5, GPT-6 Astra, Claude Fable 5.1, DeepSeek-V4.1-Flash-1017 ve GLM-5.3 gibi güncel modellerle karşılaştırılmıştır:

  • Kodlama (Coding): SWE Marathon v1.1 testinde 51.7 ile rakiplerini geride bırakırken, Terminal-Bench 4.0'da 65.7 (Claude Opus 5.5: 66.4) ve DeepSWE v1.1'de 75.5 puan almıştır. Araç destekli BenchCAD w/ tools skorunun 72.8'den 92.7'ye çıkması, modelin harici araç kullanımındaki başarısını kanıtlar.

  • Ajantik (Agentic) Görevler: HLE-Full w/ tools testinde 70.0, BrowseComp'ta 92.1, GDP.pdf w/ python'da 85.7, ZeroBench_main w/ python (pass@5) testinde 63.0, Agents' Last Exam (ALL / CLI) testlerinde 43.2 / 44.2, Automation Bench-AA'da 73.3, OfficeQA Pro v2'de 64.4, Harvey Legal Agent'ta 23.7 ve HANDBOOK.md'de 44.6 ile lider konumda yer almaktadır. Ayrıca Python destekli görsel/veri analiz testlerinde (MMMU-Pro: 90.0, CharXiv: 93.4, BabyVision: 95.4) ve finans/iş dünyası benchmark'larında (GDPval-AA v2.1: 1846 Elo, Frontier Finance: 58.6) üst düzey rekabetçi sonuçlar üretmiştir.

  • Pratik Çıkarım: Modelin özellikle Python yorumlayıcısı ve harici araçlarla (w/ tools) birleştirildiğinde en yüksek skorlara ulaşması, üretim ortamında Tool Calling ve Multi-Step Agent'lar geliştirirken Kimi K3.1 Pro'nun güçlü bir omurga olarak kullanılabileceğini göstermektedir.

Kaynak ve atıf

Bu yazı, Hacker News üzerinde yayımlanan içerikten yararlanılarak Edumints tarafından yapay zekâ desteğiyle Türkçe hazırlandı. Ayrıntılar ve yazarların kendi anlatımı için orijinaline bakabilirsin:

  • huggingface.co/moonshotai/Kimi-K3.1-Pro