Artificial Analysis Intelligence Index v5를 공개합니다. 새로운 벤치마크 2개와 업그레이드 3개가 포함되었습니다. 이번에 처음으로 Index의 다수가 비공개 데이터셋으로 구축되었습니다
Artificial Analysis Intelligence Index는 오늘날 실제 사용 환경을 반영하는 작업 전반의 모델 역량에 대한 우리의 종합 척도입니다. v5는 1월에 v4가 출시된 이후 가장 큰 업그레이드입니다. v5에서는 Index의 60%가 이제 비공개 테스트 세트 또는 비공개 보관된(held-out) 정답을 사용한 평가에 기반합니다.
Intelligence Index v5와 함께, 하나의 연속적인 척도에서 시간에 따른 모델 역량을 추적하는 Artificial Analysis Progress Index v1도 출시합니다.
Intelligence Index의 새로운 항목:
➤ FrontierCode 2.0: 실제 코딩 작업을 대상으로 하며 저장소 관리자가 에이전트의 변경 사항을 병합할지 여부로 채점하는, Cognition이 새로 출시한 비공개 벤치마크
➤ Terminal-Bench-Science: 터미널 환경에서 수행되는 70개의 에이전트형 과학 연구 작업
업그레이드됨:
➤ HLE-Diamond (Humanity's Last Exam 대체): Humanity's Last Exam의 정제된 1,000문항 버전으로, 추론 문제와 지식 문제가 동일하게 나뉨
➤ AA-Omniscience v1.1: 포화 상태이거나 공개된 세트의 문제를 제거하고 새로운 문제를 추가하며, 모호하거나 오류가 있는 문제를 수정한 업데이트된 데이터셋
➤ CritPt v2: CritPt v2의 비공개 40문항 고난도 하위 집합으로, CritPt 저자들이 수정하고 코드 실행 도구와 함께 수행됨
Index에 유지되는 항목: AA-Briefcase, AutomationBench-AA, GDP.pdf, Terminal-Bench 4.0
Index에서 제외된 항목: GDPval-AA v2.1, SciCode, AA-LCR v1.1
주요 결과:
➤ Claude Opus 5.5 (max)가 58점으로 선두이며, GPT-6 Astra (max, 57)와 GPT-6.1 Sol (max, 55)이 그 뒤를 따릅니다: Anthropic과 OpenAI가 상위 5개 모델을 차지했습니다. 그 다음은 Gemini 4 Argon (high)으로 50점입니다
➤ 오픈 웨이트 격차가 3점에서 12점으로 확대: Kimi K3.1 Pro(웨이트 미공개)가 46점으로 최고의 오픈 웨이트 모델입니다. 공개된 웨이트 중에서는 DeepSeek V4.1 Flash 1017 (max)와 GLM-5.3 (max)이 32점으로 선두이며, 이는 선두 모델보다 26점 뒤지고 Claude Haiku 5.5 (max, 36)보다도 낮은 점수입니다
➤ 주요 모델들 사이에서 작업당 비용이 13배 이상 차이납니다: 표시된 최고 점수 모델 10개 중에서 GPT-6.1 Terra (max)가 Intelligence Index 작업당 $0.96로 가장 저렴하고, Claude Fable 5.1 (max)이 $13.04로 가장 비쌉니다