Show HN: Gemini 4 Argon이 StarCraft를 플레이하다

StarSkirmish Bench v0.2는 LLM에 1시간 동안 C++로 StarCraft: Brood War의 Protoss 봇을 만들게 하고, 연습 경기에서 얻은 정보를 반영하는 장기 추론과 에이전트 코딩 능력을 평가함 GPT-6 Astra가 평균 승률 57%로 1위, GPT-6.1 Sol이 46%로 2위를 기록했으며, Gemini 4 Argon과 Claude Opus 5.5, Claude Fable 5.1은 37~39%로 사실상 동률을 이룸 강한 상대와의 연습량이 모델 점수를 가장 잘 예측했지만, Claude Fable 5.1은 대부분 약한 봇과만 연습하고도 37점을 기록한 예외임 인간이 작성한 최상위 봇과의 격차는 여전히 큼. GPT-6 Astra도 Stardust, PurpleWave, BananaBrain 상대 승률은 7% 에 그쳐 벤치마크가 포화됐다고 보기 어려움 기존 종합 평가와의 상관관계는 약해졌지만, Vals IOI와 WeirdML v3처럼 어려운 코딩 과제를 평가하는 벤치마크와는 높은 순위 상관관계를 유지함 평가 목적과 전체 성적 StarSkirmish는 LLM이 실제 경과 시간 1시간 안에 얼마나 강한 StarCraft 봇을 작성하는지 평가함 연습 경기의 교훈을 코드에 반영해야 하므로 장기 추론과 에이전트 코딩을 함께 시험함 v0.1의 평가 구성을 OpenAI, Anthropic, Google, Meta의 최신 모델과 각 개발사의 공식 CLI 하네스로 갱신함 모델별로 5회 실행하며, 각 실행에서 완성한 봇이 고정 상대 명단을 상대로 거둔 평균 승률을 0~100점으로 계산함 GPT-6 Astra: 57점 GPT-6.1 Sol: 46점 Gemini 4 Argon: 39점 Claude Opus 5.5: 39점 Claude Fable 5.1: 37점 Claude Sonnet 5.5: 26점 Muse Wonder Full: 21점 Claude Haiku 5.5: 21점 GPT-6 Luna: 13점 GPT-6.1 Sol의 비용 대비 성능이 두드러짐. 실행당 평균 API 비용이 GPT-6 Astra의 10분의 1을 조금 넘는 수준이면서 성적은 2위임 Muse Wonder Full의 비용은 Muse Wonder API 가격을 기준으로 산정함 인간이 작성한 최상위 봇과의 격차 Stardust, PurpleWave, BananaBrain은 모든 모델의 봇보다 여전히 훨씬 강함 GPT-6 Astra의 상대 ...