Artificial Analysis Intelligence Index v5 발표
Index v5에는 2개의 새로운 벤치마크와 3개의 업그레이드가 포함됩니다. 처음으로 Index의 대다수가 비공개 데이터셋을 기반으로 구성됩니다.
Artificial Analysis Intelligence Index는 오늘날 실제 사용 환경을 반영하는 작업 전반에 걸친 모델 역량의 종합 측정 지표입니다. v5는 1월에 v4가 출시된 이후 가장 큰 업그레이드입니다. v5에서는 Index의 60%가 이제 비공개 테스트 세트 또는 보류된 정답을 사용한 평가를 기반으로 합니다.
Intelligence Index v5와 함께, 하나의 연속적인 척도에서 시간에 따른 모델 역량을 추적하는 Artificial Analysis Progress Index v1도 출시합니다.
Intelligence Index의 새로운 구성 요소:
➤ FrontierCode 2.0: 저장소 유지 관리자가 에이전트의 변경 사항을 병합할지 여부를 기준으로 채점되는, Cognition이 새로 출시한 실제 코딩 작업 비공개 벤치마크
➤ Terminal-Bench-Science: 터미널 환경에서 수행되는 70개의 에이전틱 과학 연구 작업
업그레이드된 항목:
➤ HLE-Diamond (Humanity's Last Exam 대체): Humanity's Last Exam의 정제된 1,000문항 버전으로, 추론 문제와 지식 문제가 동일하게 나뉘어 구성됨
➤ AA-Omniscience v1.1: 포화 상태 및 공개 세트 문항을 제거하고, 새로운 문항을 추가하며, 모호하거나 오류가 있는 문항을 수정한 업데이트된 데이터셋
➤ CritPt v2: CritPt 저자들이 수정하고 코드 실행 도구와 함께 수행한, 비공개 40문항으로 구성된 CritPt v2의 고난도 하위 집합
Index에 유지되는 항목: AA-Briefcase, AutomationBench-AA, GDP.pdf 및 Terminal-Bench 4.0
Index에서 제외된 항목: GDPval-AA v2.1, SciCode, 그리고 AA-LCR v1.1
Intelligence Index v5 가중치:
➤ 지식 업무 (25%): AA-Briefcase (15%), AutomationBench-AA (5%), 그리고 GDP.pdf (5%)
➤ 코딩 (25%): FrontierCode 2.0 (15%) 및 Terminal-Bench 4.0 (10%)
➤ 과학 (25%): Terminal-Bench-Science (15%) 및 CritPt v2 hard subset (10%)
➤ 일반 (25%): AA-Omniscience v1.1 15% (정확도 10%, 비환각 5%) 및 HLE-Diamond (10%)
주요 결과:
➤ Claude Opus 5.5 (max)가 58점으로 선두이며, GPT-6 Astra (max, 57)와 GPT-6.1 Sol (max, 55)이 뒤를 잇습니다: Anthropic과 OpenAI가 상위 5개 모델을 모두 보유하고 있습니다. 그 다음은 Gemini 4 Argon (high)으로 50점입니다
➤ 오픈 웨이트 격차가 3점에서 12점으로 벌어졌습니다: Kimi K3.1 Pro(웨이트 미공개)가 46점으로 최고 오픈 웨이트 모델입니다. 공개된 웨이트 중에서는 DeepSeek V4.1 Flash 1017 (max)과 GLM-5.3 (max)이 32점으로 선두이며, 선두 모델보다 26점 뒤처지고 Claude Haiku 5.5 (max, 36)보다도 낮습니다
➤ 선두 모델들 사이에서 과제당 비용은 13배 이상 차이납니다: 표시된 최고 점수 모델 10개 중 GPT-6.1 Terra (max)가 Intelligence Index 과제당 $0.96로 가장 저렴하고, Claude Fable 5.1 (max)이 $13.04로 가장 비쌉니다
FrontierCode 2.0 은 Cognition의 비공개 코딩 벤치마크의 최신 업데이트입니다. 오늘 earlier 출시된 이 벤치마크는 실제 오픈소스 저장소의 132개 과제로 구성되며, 유지 관리자가 에이전트의 변경 사항을 병합할지 여부로 채점됩니다. 차단 검사 중 하나라도 실패하면 0점이 되고, 오염을 피하기 위해 과제는 비공개로 유지됩니다. 우리는 에이전틱 하네스인 Stirrup에서 모든 과제를 세 번씩 실행합니다.
Claude Opus 5.5 (max)가 46%로 선두이며, GPT-6 Astra (max), GPT-6.1 Terra (max), Claude Sonnet 5.5 (max)가 모두 42%로 뒤따릅니다. DeepSeek V4.1 Flash 1017 (max)은 28%로 최고 점수 오픈 웨이트 모델로, 선두보다 18점 뒤처져 있습니다.
Terminal-Bench-Science 는 에이전트가 터미널에서 과학 연구 워크플로를 수행할 수 있는지 시험합니다. 전문가들이 각 과제를 선별하고 검토하며, 모든 테스트를 통과해야만 과제가 통과됩니다.
GPT-6 Astra (max)가 63%로 선두이며, Claude Opus 5.5 (max)가 59%, GPT-6.1 Sol (max)이 58%로 뒤따릅니다. 선두 그룹 아래로는 점수가 급격히 떨어집니다: 최고 오픈 웨이트 모델인 Kimi K3.1 Pro(웨이트 미공개)는 34%, Claude Haiku 5.5 (max)는 20%를 기록합니다. 웨이트가 공개된 최고 오픈 웨이트 모델인 DeepSeek V4.1 Flash 1017 (max)은 13%를 기록하며, 벤치마킹한 대부분의 오픈 웨이트 모델은 10% 미만입니다.
HLE-Diamond 는 Index에서 Humanity's Last Exam을 대체합니다. Center for AI Safety(CAIS)와 Scale AI의 Humanity's Last Exam에서 다듬어진 1,000문항 버전으로, 추론과 지식 문항이 균등하게 나뉘어 있습니다. Claude Opus 5.5 (max)가 68%로 선두이며, GPT-6 Astra (max)가 64%, Claude Fable 5.1 (max)이 60%로 뒤따릅니다.
선두 모델들에게 지식 문항은 추론 문항보다 어렵습니다: Claude Opus 5.5 (max)와 GPT-6 Astra (max)는 모두 추론에서 78%를 기록한 반면, 지식에서는 각각 58%와 50%를 기록했습니다.
AA-Omniscience v1.1 은 우리의 지식 및 환각 벤치마크의 정제된 버전으로, 포화 상태이거나 공개된 문항 세트를 제거하고, 새로운 문항을 추가하며, 모호하거나 오류가 있는 문항을 수정했습니다. 점수는 대체로 v1과 일치하며, 모델들은 AA-Omniscience v1.1 Index에서 평균 2점 낮게 기록했습니다(중앙값 0.6). 또한 Hugging Face에 새로운 공개 서브셋인 AA-Omniscience-Public-v1.1을 공개했으며, 공개 세트와 비공개 세트 간에 정확도, 환각률, 전체 성능이 일관되도록 재보정했습니다.
The Index scores CritPt v2 는 비공개 40문항 고난도 서브셋입니다: 70개의 연구 수준 물리학 문항 중 출시 당시 7개 프론티어 모델이 5회 시도 모두에서 해결한 30개 문항을 제외한 것입니다. 모델은 우리의 에이전틱 하네스인 Stirrup의 오프라인 Python 샌드박스에서 작업합니다.
GPT-6 Astra가 high effort에서 72%로 선두를 차지했고, GPT-6.1 Sol이 max effort에서 69%로 뒤따릅니다. Index 전체에서 최상위 모델인 Claude Opus 5.5 (max)는 61%를 기록했습니다. Kimi K3.1 Pro(가중치 미공개)는 45%로 오픈 웨이트 모델 중 최고 점수입니다.
v5는 9개 평가 전반에서 여전히 상당한 발전 여지를 남겨두고 있으며, 모든 평가를 석권하는 단일 모델은 없습니다. 측정된 모델 중 Claude Opus 5.5가 3개에서 선두이며, 나머지 6개는 다른 5개 모델이 선두입니다:
➤ Claude Opus 5.5: FrontierCode 2.0 (46%), HLE-Diamond (68%), AA-Omniscience v1.1 (48)
➤ GPT-6 Astra: Terminal-Bench-Science (63%) 및 CritPt v2 hard subset (72%)
➤ Claude Sonnet 5.5: AA-Briefcase (1812 Elo)
➤ Kimi K3.1 Pro: Terminal-Bench 4.0 (67%)
➤ Gemini 4 Argon: AutomationBench-AA (78%)
➤ Muse Wonder Full: GDP.pdf (33% all-pass)
오픈 웨이트 모델은 v5에서 더욱 뒤처집니다. 가장 좋은 성적인 Kimi K3.1 Pro(가중치 미공개)는 46점으로 선두와 12점 차이인데, 이는 v4.3의 3점 차이에 비해 크게 벌어진 격차입니다. 가중치가 공개된 모델 중에서는 DeepSeek V4.1 Flash 1017 (max)과 GLM-5.3 (max)이 32점으로 가장 높으며, Claude Haiku 5.5 (max)는 이들 모두를 능가합니다.
격차는 HLE-Diamond와 Terminal-Bench-Science에서 가장 큽니다. Kimi K3.1 Pro는 각각 37%와 34%인 반면, Claude Opus 5.5 (max)는 68%, GPT-6 Astra (max)는 63%를 기록했습니다.
선두 모델들 간의 비용은 크게 다릅니다. Claude Opus 5.5 (max)는 Intelligence Index 과제당 $10.04, GPT-6 Astra (max)는 $6.24, GPT-6.1 Sol (max)은 $1.27입니다. GPT-6.1 Sol (max)은 과제당 약 8분의 1의 비용으로 Claude Opus 5.5 (max)와 4점 이내의 점수 차이를 보입니다.
effort 설정은 v4.3보다 v5에서 더 큰 영향을 미칩니다. Claude Opus 5.5는 low effort에서 35점, max에서 58점을 기록하며, Intelligence Index 과제당 비용은 10배 차이가 납니다($0.98 대 $10.04). Claude Sonnet 5.5는 low에서 max까지 29점 차이로 v4.3의 20점에서 확대되었고, GPT-6.1 Sol의 점수 범위는 10점에서 20점으로 두 배가 되었습니다.
v5 과제는 모델에게 훨씬 더 많은 작업을 요구합니다. 측정된 모든 모델은 v4.3에 비해 Intelligence Index 과제당 더 많은 출력 토큰을 생성하며, 중앙값은 35k에서 59k로 3분의 2 상승했습니다.
➤ 에이전트 평가가 대부분의 토큰 사용을 차지합니다: Terminal-Bench-Science, Terminal-Bench 4.0, AA-Briefcase, FrontierCode 2.0이 Index 가중치의 55%를 차지하지만 출력 토큰의 중앙값 기준 약 90%를 사용합니다
➤ Terminal-Bench-Science가 가장 토큰 집약적입니다: 이 평가 하나만으로 과제당 출력 토큰의 약 3분의 1을 차지합니다
v5와 함께 Artificial Analysis Progress Index v1을 출시합니다. Progress Index는 2022년 11월 이후 출시된 언어 모델을 광범위한 벤치마크에 걸쳐 하나의 능력 척도로 평가합니다.
Progress Index를 사용하면 수년 차이가 나는 모델을 포함해 근본 능력이 시간에 따라 어떻게 변화했는지 비교할 수 있습니다. 현재 사용 사례에 맞는 모델을 비교하고 현재의 프런티어를 이해하려면, 현재 모델 지능의 주요 척도로 남아 있는 Intelligence Index를 사용하세요.
Epoch AI와 Anthropic에 감사드립니다 - Progress Index를 설계하면서 Epoch Capabilities Index에서 얻은 학습을 바탕으로 했습니다.
Progress Index 탐색하기: artificialanalysis.ai/trends
방법론: artificialanalysis.ai/methodology/progress-index
이번 업데이트의 벤치마크를 제공해 주신 Cognition, Steven Dillmann 및 Terminal-Bench 팀, Center for AI Safety, Scale AI, 그리고 Minhui Zhu, Minyang Tian, Hao Peng 및 CritPt 팀에게 감사드립니다.
전체 결과 탐색하기: artificialanalysis.ai
방법론: artificialanalysis.ai/methodology/intelligence-benchmarking