Bonsai 2 27B: 9 Kat Daha Küçük Boyutta Neredeyse Kayıpsız Sıkıştırma

PrismML, yerel cihazlarda çalışabilen yapay zeka modellerinde önemli bir sıçrama yaparak Ternary Bonsai 2 27B modelini duyurdu. İki ay önce yayımlanan ilk Bonsai 27B sürümü, 27B sınıfı çok modlu bir modelin yerel donanımlarda verimli çalışabileceğini göstermişti. Yeni sürüm ise serinin şimdiye kadarki en yetenekli modeli olarak öne çıkıyor.

Temelini Qwen3.8 27B mimarisinden alan model; düşük bellek ayak izi, yüksek işlem hızı ve enerji verimliliği profilini korurken akıl yürütme, kodlama, görme ve otonom ajan yeteneklerini güçlendiriyor. Model, FP16 grup ölçeklemeli üçlü {-1, 0, +1} ağırlık mimarisiyle ağırlık başına efektif 1,76 bit seviyesine inerek toplam boyutu sadece 5,9 GB'a düşürüyor. Uçtan uca uygulanan bu düşük bit temsili; 262K token bağlam penceresi, metin ve görsel girdi desteği ile Apache 2.0 lisansıyla sunuluyor. Tam hassasiyetli eşdeğerine kıyasla 9 kattan fazla küçülen Bonsai 2 27B, kümülatif test performansının %98,2'sini koruyor.

İlk Bonsai 27B Sürümünden Bu Yana Neler Değişti?

İlk Bonsai 27B sürümü 27B sınıfı zekayı yerel cihazlara taşıyan kritik bir adımdı. Bonsai 2 27B ise gerçek dünya yerel uygulamaları için gereken model kalitesine ve çalışma zamanı performansına odaklanıyor. Önceki nesle göre model şu üç temel yeniliği getiriyor:

Daha güçlü bir temel model: Qwen3.8 27B
Tam hassasiyetli modele karşı %98,2'lik kümülatif yetenek koruma oranı
Geliştirilmiş akıl yürütme, kodlama, görme ve uzun vadeli otonom ajan performansı

Aynı Dağıtım Noktasında Daha Yüksek Yetenek

Akıl yürütme, matematik, kodlama, talimat takibi, görme ve araç kullanımını kapsayan testlerde Ternary Bonsai 2 27B, 83,9 puan alarak Qwen3.8 27B'nin (85,4) kümülatif başarısının %98,2'sini korudu. Bu başarının en kritik boyutu, yeteneğin tam olarak nerede korunduğudur. Kodlama ajanları, araç kullanım sistemleri ve uzun vadeli görevler model bozulmalarına karşı oldukça hassastır; çünkü küçük hatalar adımlar ilerledikçe katlanarak büyür. Bonsai 2 27B, bellek ayak izinin çok küçük bir kısmıyla çalışırken doğrudan bu kritik alanlardaki performansı muhafaza ediyor.

Yazılım Geliştiriciler İçin Pratik Çıkarımlar

Yazılım geliştiriciler açısından 5,9 GB'lık model boyutu, pahalı GPU kümelerine ihtiyaç duymadan 27B sınıfı zekanın yerel geliştirici makinelerinde çalıştırılabilmesi anlamına geliyor. 262K bağlam penceresi, tescilli kod tabanlarının ve şirket içi belgelerin gizlilik güvenliğiyle analiz edilmesini sağlarken Apache 2.0 lisansı ticari dağıtım özgürlüğü sunuyor. Araç çağıran otonom ajanlardaki yüksek başarım ise zincirleme adımlarda hata üretmeyen, güvenilir ve düşük gecikmeli yerel yapay zeka sistemleri inşa etmeyi mümkün kılıyor.

[Orijinal kaynağa buradan ulaşabilirsiniz.](https://prismml.com/news/bonsai-2-27b)

Bu konuyu derinlemesine öğrenmek isterseniz: Ölçeklendirme ve Optimizasyon modülüne göz atın.