Artificial Analysis Zekâ Endeksi v5 Duyurusu: Gerçek Dünya Değerlendirmeleri ve Geliştiriciler İçin Çıkarımlar

Artificial Analysis Zekâ Endeksi (Intelligence Index), günümüzdeki gerçek dünya kullanımını yansıtan görevler genelinde model yeteneklerinin bileşik bir ölçümüdür. Ocak ayında yayınlanan v4'ten bu yana yapılan en büyük güncelleme olan v5, 2 yeni kıyaslama (benchmark) ve 3 yükseltme içeriyor. İlk kez endeksin çoğunluğu (%60'ı) özel test kümelerine veya gizli tutulan yanıtlara dayalı değerlendirmeler üzerine inşa edilmiştir. Ayrıca, model yeteneklerini zaman içinde tek bir sürekli ölçekte izleyen Artificial Analysis İlerleme Endeksi (Progress Index) v1 de kullanıma sunulmuştur.

Endekse Yeni Eklenenler#

FrontierCode 2.0: Cognition'ın gerçek dünya kodlama görevlerinden oluşan, bir depo (repository) sorumlusunun ajanın değişikliğini birleştirip birleştirmeyeceğine (merge) göre puanlanan yeni özel kıyaslaması.
Terminal-Bench-Science: Bir terminal ortamında çalıştırılan 70 ajantik bilimsel araştırma görevi.

Yükseltilen Kıyaslamalar#

HLE-Diamond (Humanity's Last Exam'in yerini aldı): Akıl yürütme ve bilgi soruları arasında eşit olarak bölünmüş, Humanity's Last Exam'in iyileştirilmiş 1.000 soruluk versiyonu.
AA-Omniscience v1.1: Doygunluğa ulaşmış ve herkese açık küme sorularının çıkarıldığı, yeni soruların eklendiği ve belirsiz veya hatalı soruların revize edildiği güncellenmiş veri kümesi.
CritPt v2: CritPt yazarları tarafından revize edilen ve bir kod yürütme aracıyla çalıştırılan, CritPt v2'nin 40 soruluk özel ve zorlu alt kümesi.

Endekste Kalanlar ve Çıkarılanlar#

Endekste kalan kıyaslamalar AA-Briefcase, AutomationBench-AA, GDP.pdf ve Terminal-Bench 4.0 olurken; endeksten çıkarılanlar GDPval-AA v2.1, SciCode ve AA-LCR v1.1 olmuştur.

Zekâ Endeksi v5 Ağırlıkları#

Bilgi İşçiliği (%25): AA-Briefcase (%15), AutomationBench-AA (%5) ve GDP.pdf (%5)
Kodlama (%25): FrontierCode 2.0 (%15) ve Terminal-Bench 4.0 (%10)
Bilim (%25): Terminal-Bench-Science (%15) ve CritPt v2 zorlu alt kümesi (%10)
Genel (%25): AA-Omniscience v1.1 %15 (%10 doğruluk, %5 halüsinasyon yapmama) ve HLE-Diamond (%10)

Temel Sonuçlar ve Geliştiriciler İçin Pratik Çıkarımlar#

Claude Opus 5.5 (max) 58 puanla lider: GPT-6 Astra (max, 57) ve GPT-6.1 Sol (max, 55) modellerinin önünde yer alıyor. Anthropic ve OpenAI ilk beş modeli elinde tutarken, Gemini 4 Argon (high) 50 puanla onları takip ediyor.
Açık ağırlıklı (open weights) modeller arasındaki fark 3 puandan 12 puana çıktı: Kimi K3.1 Pro (ağırlıkları henüz yayınlanmadı) 46 puanla en iyi açık ağırlıklı modeldir. Yayınlanan ağırlıklar arasında DeepSeek V4.1 Flash 1017 (max) ve GLM-5.3 (max) 32 puanla liderdir; ancak liderin 26 puan ve Claude Haiku 5.5'in (max, 36) gerisindedir.
Görev başına maliyet, önde gelen modeller arasında 13 kattan fazla değişiklik gösteriyor: En yüksek puan alan 10 model arasında GPT-6.1 Terra (max) görev başına 0,96 dolar ile en ucuz modelken, Claude Fable 5.1 (max) 13,04 dolar ile en pahalı modeldir.

Derinlemesine Bakış: FrontierCode 2.0 ve Yazılım Mühendisliği#

Gerçek açık kaynaklı depolardaki 132 görevden oluşan FrontierCode 2.0, veri sızıntısını (contamination) önlemek için gizli tutulur ve Stirrup ajantik altyapısında her görev üç kez çalıştırılır. Engelleyici herhangi bir kontrolü geçemeyen denemeler 0 puan alır. Bu testte Claude Opus 5.5 (max) %46 ile liderken, onu %42 ile GPT-6 Astra (max), GPT-6.1 Terra (max) ve Claude Sonnet 5.5 (max) izlemektedir. Açık ağırlıklı modellerde ise DeepSeek V4.1 Flash 1017 (max) %28 ile liderin 18 puan gerisindedir. Terminal-Bench-Science ise ajanların terminalde bilimsel araştırma iş akışlarını yürütebilmesini test eder.

Geliştiriciler İçin Pratik Çıkarım: Üretim ortamında kodlama ajanları geliştirirken "Modeller: Hangisi, Ne Zaman?" sorusu kritik hale gelmiştir. FrontierCode 2.0'da %42 başarı sağlayan GPT-6.1 Terra (max) modelinin görev başına 0,96 dolarlık maliyeti, fiyat/performans odaklı mühendislik ekipleri için güçlü bir alternatif sunarken, en karmaşık PR birleştirme süreçlerinde Claude Opus 5.5 öne çıkmaktadır.