Kolibri Sahada: Egemen ve Açık Ağırlıklı Yeni Nesil MoE Modeli

Aleph Alpha Research, Almanya'nın Birleşme Günü'nde egemen yapay zeka vizyonunu somutlaştıran yeni açık ağırlıklı modeli Kolibri'yi duyurdu. Apache 2.0 lisansıyla Hugging Face üzerinde tam ağırlıklarıyla paylaşılan Kolibri; toplamda 78 milyar (78B), aktif olarak ise yalnızca 3 milyar (3B) parametre kullanan bir İngilizce-Almanca Mixture-of-Experts (MoE) Transformer modelidir. Model, 1 milyon tokene varan bağlam penceresiyle kurumsal veri tabanları ve karmaşık iş akışları için geniş bir çalışma alanı sunmaktadır.

Model Eğitim Pipeline'ı ve İteratif Geliştirme

Kolibri, sürekli yinelenen ve geliştirilen bir eğitim hattının ürünüdür. Ekip bu altyapıyı önce 30B toplam, 3B aktif parametreye ve 65k bağlam penceresine sahip Kolibri Origin prototipiyle doğrulamıştır. Kolibri de aynı uçtan uca boru hattından geçmiştir:

Uçtan Uca Süreç: Veri alımı ve kürasyonundan ablasyon deneylerine, ön ve son eğitimden nihai değerlendirmelere kadar tüm aşamalar.
Hata Toleranslı Altyapı: Donanım arızalarında veya veri bağlantısı kesildiğinde insan müdahalesi gerektirmeden devam eden kararlı ön eğitim.
Standart İzleme: Sürekli izlenen eğitim metrikleri ve özel kıyaslama testleri için standartlaştırılmış takip sistemi.

Yazılım ve MLOps Çıkarımı: Model başarısı, eğitim altyapısının dayanıklılığına bağlıdır. Hata toleranslı MLOps süreçleri, yüzlerce ablasyon testini hızla yineleyerek yeni modellerin çok daha kısa sürede canlıya alınmasını sağlar.

Regüle Sektörler ve Sayısal Egemenlik

Kolibri; kamu yönetimi, endüstriyel üretim ve havacılık gibi regüle edilen kritik alanlar için özelleştirilmiştir. Model; Almanca dil yetkinliği, akıl yürütme (reasoning), matematik ve otonom ajan (agentic) davranışları üzerinde optimize edilmiştir. Amaç, kurumsal yapay zeka operasyonlarında ölçülebilir ve zamanla artan bir yatırım getirisi (ROI) sağlamaktır.

Egemenlik (sovereignty) kavramı iki temel boyutta ele alınmaktadır:

İnşa Süreci: Veri alımından son testlere kadar her kararın hesabının verildiği tam tedarik zinciri bütünlüğü ve şeffaflık.
Dağıtım ve Fikri Mülkiyet: Kurumlara tam dağıtım özgürlüğü ve fikri mülkiyet güvenliği sunularak regülasyon uyumluluğunun modele kalıtsal olarak aktarılması.

Kolibri Neler Sunuyor?

Model, sektörlerin özel terminolojilerine ve prosedürel gerçekliklerine göre uyarlanmıştır:

On-Premise Esnekliği: Kompakt yapısı sayesinde kurumların hassas verilerini üçüncü taraf API servislerine göndermeden, kendi sunucularında verimli biçimde çalıştırma olanağı tanır.

Kurumlar ve Kamu İçin Temel Yetenekler

Kolibri, 78B toplam parametrenin yalnızca 3B'sini aktif kullanarak model kapasitesi ile sunum maliyeti (serving cost) arasındaki dengeyi en üst seviyeye taşır:

Pareto Sınırı: Model, hem İngilizce hem de Almanca dillerinde kalite ve çıkarım maliyeti açısından Pareto sınırında yer alır; mevcut alternatifler aynı maliyette daha yüksek kalite ya da aynı kalitede daha düşük maliyet sunamamaktadır.

Pratik Çıkarım: Üretimde 3B aktif parametreyle inference gerçekleştirmek, donanım kaynaklarını korurken GPU maliyetlerini optimize eder ve yüksek verimli bir yerel dağıtım sağlar.

Orijinal kaynağa buradan ulaşabilirsiniz.

Bu konuyu derinlemesine öğrenmek isterseniz: Modeller: Hangisi, Ne Zaman? modülüne göz atın.