Apertus 1.5 Sürüm Notları: Açık Kaynaklı Çok Modlu Yapay Zeka

Apertus 1.5, 8B ve 70B parametreli Apertus 1.0 modellerini görüntü ve ses anlama, isteğe bağlı düşünme modu (thinking mode), 4 kat daha geniş bağlam penceresi, gelişmiş talimat takibi ve güçlendirilmiş araç kullanımı ile bir üst seviyeye taşıyor. Apache 2.0 lisansıyla Hugging Face üzerinde paylaşılan model ailesi; açık ağırlıkları, açık verisi, açık değerleri ve şeffaf eğitim süreciyle öne çıkıyor. İlk neslin devamı niteliğindeki ön eğitimde 8B modeline 4 trilyon, 70B modeline ise 2 trilyon token eklenerek toplamda sırasıyla 19T ve 17T tokenlik hacme ulaşılmıştır. Bu şeffaflık, üretim ortamlarında denetlenebilir ve lisans güvenceli yapay zeka çözümleri geliştiren mühendisler için kritik bir avantaj sunar.

Temel Geliştirmeler#

Doğal Çok Modlu Anlama (Native Multimodal Understanding): Metinle birlikte görüntü ve ses verilerini doğrudan kabul eder; teknik şemaları, belgeleri ve fotoğrafları bağlama dahil eder. Konuşma dili işleme ise deneysel olarak desteklenmektedir.
Düşünme Modu (Thinking Mode): Model, nihai yanıtı vermeden önce adım adım akıl yürütecek şekilde çalıştırılabilir. Bu mod, özellikle karmaşık algoritma kurgulama ve mimari mantık yürütme süreçlerinde hata payını düşürür.
Uzun Bağlam Penceresi (Long Context): Bağlam kapasitesi 4 kat artarak 262.144 tokene ulaşmıştır. Geniş kod tabanlarının veya kapsamlı teknik dokümantasyonların tek bir sorguda işlenmesini sağlar.
Gelişmiş Talimat Takibi (Improved Instruction-Following): Apertus 1.0'a göre talimatlara çok daha sıkı uyar; deterministik, tahmin edilebilir ve yapılandırılmış JSON çıktıları elde etmeyi kolaylaştırır.
Gelişmiş Araç Kullanımı (Improved Tool Use): Harici araçlar ve API'lerle kesintisiz çalışacak şekilde eğitilmiştir; otonom ajan (agentic) iş akışlarında çağrı doğruluğunu yükseltir.
Açık Değerler (Open Values): Apertus Şartnamesi'ne yüksek bağlılık sergileyerek modelin güvenlik, etik ve prensip kararlarında tam şeffaflık vadeder.

Eğitim Süreci#

Tokenizer Aracılığıyla Çok Modluluk#

Apertus 1.5, harici bir görsel kodlayıcı yerine erken kaynaşma (early-fusion) mimarisini uygular. Görüntüler Emu3.5 (512×512 görüntü 1.024 token), sesler ise WavTokenizer (saniyede 40 token) ile metin dizisi içine ayrık token olarak aktarılır. Model mimarisi değişmeden yalnızca sözlük genişletildiği için eğitim metin hızında sürdürülür. Sistem görsel ve işitsel girdileri kavrar ancak sadece metin çıktısı üretir; bu sayede backend servis mimarileri sade kalır.

Ön Eğitim (Pre-Training)#

Ön eğitim süreci dört kademede tamamlanmıştır:

Eşleşmemiş (Unpaired): Yeni modaliteleri kavraması için bağımsız metin, görüntü ve ses verilerinin işlenmesi.
Eşleşmiş (Paired): Görüntü-açıklama ve ses-transkript çiftleri ile diller arası anlamsal hizalama.
Soğuma (Cooldown): Yüksek kaliteli matematik ve kod ağırlıklı veriyle model muhakemesinin keskinleştirilmesi.
Uzun Bağlam (Long Context): Pencere sınırının kademeli olarak 8k'dan 262k tokene çıkarılması.

FineWeb2-HQ+, FinePDFs ve Nemotron-CC gibi izinli kaynaklarla beslenen eğitimde tokenlerin yarısından fazlası metin olarak korunmuş, robots.txt kurallarına geriye dönük riayet edilmiştir.

Eğitim Sonrası (Post-Training)#

Model hizalaması beş aşamada gerçekleştirilmiştir:

SFT (Supervised Fine-Tuning): 3,7 milyon metin örneğinin yanı sıra görüntü ve konuşma verileriyle denetimli ince ayar.
Uzun Bağlam SFT: Geniş bağlam aralığında talimat kararlılığının sağlanması.
RL (Pekiştirmeli Öğrenme): Akıl yürütme becerilerinin optimize edilmesi.
DPO (Doğrudan Tercih Optimizasyonu): Çıktı tutarlılığının insan beklentilerine hizalanması.
Şartname Hizalaması (SDPO): Güvenlik prensipleri ve şartname kurallarına tam uyum kazandırılması.

Orijinal makaleye buradan ulaşabilirsiniz.

Bu konuyu derinlemesine öğrenmek isterseniz: Modeller: Hangisi, Ne Zaman? modülüne göz atın.