Show HN: Gemini 4 Argon StarCraft Oynuyor — StarSkirmish Bench v0.2 Analizi

Özet (TL;DR)#

StarSkirmish, büyük dil modellerinin (LLM) StarCraft: Brood War için botlar yazdığı bir kıyaslama (benchmark) testidir.
Her LLM'e C++ dilinde bir Protoss botu yazması için bir saat süre verilir; ardından bu botlar diğer LLM botlarına ve insanların yazdığı yerleşik botlara karşı değerlendirilir.
StarSkirmish, modellerin pratik maçlardan öğrendiklerini botlarını geliştirmek için kullanmasını gerektirerek uzun ufuklu akıl yürütme ve ajan tabanlı kodlama (agentic coding) yeteneklerini test eder.

StarSkirmish Bench v0.2#

StarSkirmish Bench, her bir LLM'in 1 saatlik gerçek zaman diliminde ne kadar güçlü bir StarCraft botu yazabildiğini ölçer. v0.2 sürümü; OpenAI, Anthropic, Google ve Meta'nın amiral gemisi modellerini kendi birinci parti CLI koşum takımlarında (harness) çalıştırarak v0.1'i günceller. Bir modelin skoru, rekabetçi insan yapımı botlar ve demo botlardan oluşan bir kadroya karşı5 çalıştırmadaki ortalama kazanma oranını (0–100) yansıtır. Gemini 4 Argon erişebildiği en yüksek akıl yürütme seviyesi olan high ayarında çalışırken, diğer tüm modeller max seviyesinde çalışır.

GPT-6 Astra, ikinci sıradaki GPT-6.1 Sol modelinin net bir adım önünde en yüksek skoru alan modeldir. Gemini 4 Argon, Claude Opus 5.5 ve Claude Fable 5.1 ise 37 ile 39 arasında puanlar alarak hemen arkalarında işlevsel olarak berabere kalmıştır.

StarSkirmish Bench ve Maliyet Karşılaştırması#

1 saatlik bir çalıştırmanın ortalama API maliyetine (logaritmik ölçekte) kıyasla performans incelendiğinde, GPT-6.1 Sol benzersiz bir fiyat/performans değeri sunar. GPT-6 Astra'nın çalıştırma başına maliyetinin yalnızca onda birinden biraz fazlasına ikinci sırayı alarak en cazip çeyrekte yer alan tek LLM olmuştur.

Geliştirici Çıkarımı: Modeller: Hangisi, Ne Zaman? sorusunu yanıtlarken en pahalı amiral gemisi model yerine, maliyetin onda birine yakın performans veren modelleri üretim ve ajan iş akışlarında tercih etmek bütçe optimizasyonu için kritiktir.

Doygunluk Belirtisi Yok#

En güçlü insan yapımı botlar hala tüm modellerin çok ilerisindedir. Stardust, PurpleWave ve BananaBrain gibi üst düzey insan yapımı botlara karşı en iyi model olan GPT-6 Astra bile maçlarının yalnızca %7'sini kazanabilmektedir. Üstelik bu maçlar iki oyunculu üç haritada oynanmaktadır; gerçek insan yapımı bot turnuvası koşulları ve 1 saatlik akıl yürütme sınırları düşünüldüğünde zorluk seviyesi çok daha yüksektir.

Yeni Yapay Zeka Modeli Öne Çıkanları#

Google ve Meta'nın yeni amiral gemileri, v0.1'deki Gemini 3.8 Flash ve Muse Spark 1.3'ün yerini almıştır: Gemini 4 Argon 3. sıraya, Muse Wonder Full ise 7. sıraya yerleşmiştir. GPT-6 Astra ve Claude Opus 5.5 ise v0.1 kapsamında incelenmişti.

Yapay Zeka Model Davranışları#

Her çalıştırmanın ajan izi (agent trace), modelin bir saatini nasıl harcadığını kaydeder. Bir modelin skorunun en güçlü belirleyicisi, kadrodaki en güçlü 7 bota karşı ne kadar pratik yaptığıdır.

GPT-6 Astra, GPT-6.1 Sol ve Gemini 4 Argon, kendi botları henüz kaybediyor olsa bile saatin erken dakikalarında bu güçlü botlarla maç yapmaya başlar.
Muse Wonder Full, Claude Haiku 5.5 ve GPT-6 Luna bunu nadiren yapar veya hiç yapmaz.
Claude Fable 5.1 ise istisnadır (outlier): neredeyse tamamen daha zayıf botlara karşı pratik yapmasına rağmen 37 puan almıştır.

Geliştirici Çıkarımı: Ajan tabanlı yazılım geliştirmede ve AI Test Stratejileri kurgusunda, sistemi erken aşamada zorlu sınır durumlarına (edge-case) maruz bırakmak ve geri bildirim döngüsünü hızla işletmek nihai kod kalitesini doğrudan artırır.

Çalıştırmalar Arası Varyans (Run-to-Run Variance)#

Sonuçlar aynı modelin 5 farklı çalıştırması arasında da değişiklik gösterir. Gemini 4 Argon, diğer laboratuvarların amiral gemilerine göre çok daha fazla varyans sergiler: en iyi ve en kötü çalıştırmaları arasında 18 puanlık fark varken, bu fark GPT-6 Astra için 9 puandır. Production'da Agent Güvenilirliği açısından bu varyans, otonom kodlama ajanlarında tekil çalıştırmalar yerine çoklu değerlendirmelerin önemini kanıtlar.