--- title: "Show HN: Gemini 4 Argon StarCraft Oynuyor — StarSkirmish Bench v0.2 Analizi" url: https://blog.edumints.com/show-hn-gemini-4-argon-starcraft-oynuyor-starskirmish-bench-v0-2 category: "LLM" date: 2026-10-16T15:05:06.546Z publisher: Edumints Blog lang: tr-TR source_name: "Hacker News" source_url: https://starskirmish.com/bench/v0-2/ --- # Show HN: Gemini 4 Argon StarCraft Oynuyor — StarSkirmish Bench v0.2 Analizi ## Özet (TL;DR) - **StarSkirmish**, büyük dil modellerinin (LLM) *StarCraft: Brood War* için botlar yazdığı bir kıyaslama (benchmark) testidir. - Her LLM'e C++ dilinde bir Protoss botu yazması için **bir saat** süre verilir; ardından bu botlar diğer LLM botlarına ve insanların yazdığı yerleşik botlara karşı değerlendirilir. - StarSkirmish, modellerin pratik maçlardan öğrendiklerini botlarını geliştirmek için kullanmasını gerektirerek **uzun ufuklu akıl yürütme** ve **ajan tabanlı kodlama (agentic coding)** yeteneklerini test eder. ## StarSkirmish Bench v0.2 StarSkirmish Bench, her bir LLM'in 1 saatlik gerçek zaman diliminde ne kadar güçlü bir StarCraft botu yazabildiğini ölçer. v0.2 sürümü; OpenAI, Anthropic, Google ve Meta'nın amiral gemisi modellerini kendi birinci parti CLI koşum takımlarında (harness) çalıştırarak v0.1'i günceller. Bir modelin skoru, rekabetçi insan yapımı botlar ve demo botlardan oluşan bir kadroya karşı5 çalıştırmadaki ortalama kazanma oranını (0–100) yansıtır. **Gemini 4 Argon** erişebildiği en yüksek akıl yürütme seviyesi olan `high` ayarında çalışırken, diğer tüm modeller `max` seviyesinde çalışır. **GPT-6 Astra**, ikinci sıradaki **GPT-6.1 Sol** modelinin net bir adım önünde en yüksek skoru alan modeldir. **Gemini 4 Argon**, **Claude Opus 5.5** ve **Claude Fable 5.1** ise 37 ile 39 arasında puanlar alarak hemen arkalarında işlevsel olarak berabere kalmıştır. ## StarSkirmish Bench ve Maliyet Karşılaştırması 1 saatlik bir çalıştırmanın ortalama API maliyetine (logaritmik ölçekte) kıyasla performans incelendiğinde, **GPT-6.1 Sol** benzersiz bir fiyat/performans değeri sunar. GPT-6 Astra'nın çalıştırma başına maliyetinin yalnızca onda birinden biraz fazlasına ikinci sırayı alarak en cazip çeyrekte yer alan tek LLM olmuştur. *Geliştirici Çıkarımı:* **Modeller: Hangisi, Ne Zaman?** sorusunu yanıtlarken en pahalı amiral gemisi model yerine, maliyetin onda birine yakın performans veren modelleri üretim ve ajan iş akışlarında tercih etmek bütçe optimizasyonu için kritiktir. ## Doygunluk Belirtisi Yok En güçlü insan yapımı botlar hala tüm modellerin çok ilerisindedir. **Stardust**, **PurpleWave** ve **BananaBrain** gibi üst düzey insan yapımı botlara karşı en iyi model olan GPT-6 Astra bile maçlarının yalnızca **%7'sini** kazanabilmektedir. Üstelik bu maçlar iki oyunculu üç haritada oynanmaktadır; gerçek insan yapımı bot turnuvası koşulları ve 1 saatlik akıl yürütme sınırları düşünüldüğünde zorluk seviyesi çok daha yüksektir. ## Yeni Yapay Zeka Modeli Öne Çıkanları Google ve Meta'nın yeni amiral gemileri, v0.1'deki Gemini 3.8 Flash ve Muse Spark 1.3'ün yerini almıştır: **Gemini 4 Argon** 3. sıraya, **Muse Wonder Full** ise 7. sıraya yerleşmiştir. GPT-6 Astra ve Claude Opus 5.5 ise v0.1 kapsamında incelenmişti. ## Yapay Zeka Model Davranışları Her çalıştırmanın ajan izi (agent trace), modelin bir saatini nasıl harcadığını kaydeder. Bir modelin skorunun en güçlü belirleyicisi, kadrodaki **en güçlü 7 bota karşı ne kadar pratik yaptığıdır**. - **GPT-6 Astra**, **GPT-6.1 Sol** ve **Gemini 4 Argon**, kendi botları henüz kaybediyor olsa bile saatin erken dakikalarında bu güçlü botlarla maç yapmaya başlar. - **Muse Wonder Full**, **Claude Haiku 5.5** ve **GPT-6 Luna** bunu nadiren yapar veya hiç yapmaz. - **Claude Fable 5.1** ise istisnadır (outlier): neredeyse tamamen daha zayıf botlara karşı pratik yapmasına rağmen 37 puan almıştır. *Geliştirici Çıkarımı:* Ajan tabanlı yazılım geliştirmede ve **AI Test Stratejileri** kurgusunda, sistemi erken aşamada zorlu sınır durumlarına (edge-case) maruz bırakmak ve geri bildirim döngüsünü hızla işletmek nihai kod kalitesini doğrudan artırır. ## Çalıştırmalar Arası Varyans (Run-to-Run Variance) Sonuçlar aynı modelin 5 farklı çalıştırması arasında da değişiklik gösterir. **Gemini 4 Argon**, diğer laboratuvarların amiral gemilerine göre çok daha fazla varyans sergiler: en iyi ve en kötü çalıştırmaları arasında **18 puanlık** fark varken, bu fark **GPT-6 Astra** için 9 puandır. **Production'da Agent Güvenilirliği** açısından bu varyans, otonom kodlama ajanlarında tekil çalıştırmalar yerine çoklu değerlendirmelerin önemini kanıtlar. --- **Kaynak:** Hacker News (https://starskirmish.com/bench/v0-2/) **Yayıncı:** [Edumints Blog](https://blog.edumints.com) · Alıntılarken bu URL'ye bağlantı verin: https://blog.edumints.com/show-hn-gemini-4-argon-starcraft-oynuyor-starskirmish-bench-v0-2