Artificial Analysis 코딩 에이전트 인덱스 v2.0 발표: Cognition의 FrontierCode v1.1이 DeepSWE를 대체하고, SWE-Atlas-QnA 채점 기준이 개정되며, Claude Code의 Claude Opus 5.5가 61.7점으로 선두
오늘 우리는 코딩 에이전트 인덱스 v2.0을 출시합니다. 이 인덱스는 모델을 에이전트 하네스와 함께 평가하며, 이제 소프트웨어 엔지니어링, 터미널 사용, 저장소 Q&A를 다루는 290개 작업에 걸쳐 세 벤치마크를 동일한 가중치로 평가합니다.
변경 사항(인덱스 v1.5 → 인덱스 v2.0):
→ FrontierCode v1.1이 DeepSWE v1.1을 대체합니다. FrontierCode는 @cognition의 비공개 테스트 세트를 사용하는 벤치마크로, 실제 오픈소스 저장소의 100개 소프트웨어 엔지니어링 작업을 대상으로 하며, 메인테이너가 해당 변경 사항을 병합할지 여부로 채점됩니다. 차단(blocking) 검사를 하나라도 통과하지 못한 시도는 0점을 받고, 모든 차단 검사를 통과한 시도는 충족한 비차단(non-blocking) 검사에 따라 70%에서 100% 사이의 점수를 받습니다. 또한 각 시도 궤적을 Cognition의 규칙 기반 스캐너를 변형한 버전으로 스캔하여, 해답 자료에 접근한 것으로 표시된 시도는 0점을 받습니다.
→ SWE-Atlas-QnA 채점 기준이 개정되어 이제 SWE-Atlas-QnA-AA가 됩니다. Scale AI의 124개 저장소 Q&A 작업은 변경되지 않았습니다. 더 일관된 판정을 위해 1,306개 루브릭 기준 중 127개의 표현을 다듬고, 심판(judge)을 GPT-6 Luna (xhigh)로 변경했으며, 기준당 5번의 투표를 진행합니다. 데이터셋과 심판 구성은 Hugging Face에 공개되어 있습니다.
주요 결과:
➤ Claude Opus 5.5가 인덱스 선두: Claude Code with Claude Opus 5.5 (max)가 61.7점을 기록했고, 뒤이어 Claude Code with Claude Sonnet 5.5 (max)가 59.3점, Muse Code with Muse Wonder Full (max)가 58.9점, Claude Code with Claude Fable 5.1 (max with fallback)이 57.6점을 기록했습니다.
➤ FrontierCode v1.1에서 Opus 5.5가 앞서 나섭니다: Opus 5.5는 FrontierCode에서 56.0%를 기록해, 52.6%의 Codex with DeepSeek V4.1 Flash (max), 49.4%의 Codex with GPT-6.1 Sol (max), 49.3%의 Codex with GPT-6 Astra (max)를 앞섰습니다. 상위권 아래로는 FrontierCode 점수가 촘촘하게 몰려 있습니다: 인덱스의 24개 구성 중 15개가 43%에서 49% 사이의 점수를 기록했습니다.
➤ SWE-Atlas-QnA-AA 채점은 더 엄격하고 일관됩니다: 두 인덱스 버전 모두에서 평가된 21개 구성 전체에서 평균 점수는 58.8%에서 57.1%로 1.7점 하락했으며, 21개 중 14개가 하락했습니다. 개별 구성은 최대 7점까지 움직였습니다: Muse Code with Muse Spark Open (xhigh)은 7.0 하락, Kimi Code CLI의 Kimi K3와 Codex with GPT-6 Luna (max)는 6.2, Muse Code with Muse Wonder (max)는 5.6 하락한 반면, Codex with GPT-6.1 Sol (max)은 2.1 상승했습니다.
➤ 네 개의 구성이 비용 프론티어에 위치합니다: Codex with DeepSeek V4.1 Flash (max)는 작당 $0.39로 47.3점, Codex with GPT-6.1 Sol (max)은 $1.50로 54.1점, Codex with GPT-6 Astra (max)는 $7.04로 54.7점, Claude Code with Claude Opus 5.5 (max)는 $11.42로 61.7점을 기록했습니다. 비용은 구독 가격이 아닌 토큰당 지불 API 비용입니다.
우리는 앞으로 더 많은 평가와 에이전트를 추가하며 코딩 에이전트 인덱스를 지속적으로 점진 업데이트할 것입니다.