Artificial Analysis Intelligence Index v5を発表します。2つの新しいベンチマークと3つのアップグレードを含みます。初めて、Indexの大部分がプライベートデータセットに基づいて構築されました
Artificial Analysis Intelligence Indexは、今日の実世界での利用を反映したタスク全体にわたるモデル能力の複合指標です。v5は、1月にv4が登場して以来最大のアップグレードです。v5では、Indexの60%がプライベートテストセットまたは非公開の解答を用いた評価に基づくようになりました。
Intelligence Index v5と同時に、単一の連続スケールで時間経過に伴うモデル能力を追跡するArtificial Analysis Progress Index v1を公開します。
Intelligence Indexの新規項目:
➤ FrontierCode 2.0: 実世界のコーディングタスクを対象にしたCognitionが新たに公開したプライベートベンチマークで、リポジトリのメンテナーがエージェントの変更をマージするかどうかで評価
➤ Terminal-Bench-Science: ターミナル環境で実行される70のエージェント型科学研究タスク
アップグレード:
➤ HLE-Diamond(Humanity's Last Examの置き換え): Humanity's Last Examを精緻化した1,000問バージョンで、推論問題と知識問題が半々に分割
➤ AA-Omniscience v1.1: 飽和した問題および公開済みセットの問題を除去し、新しい問題を追加し、曖昧または誤りのある問題を修正した更新版データセット
➤ CritPt v2: CritPt v2のうち40問からなる非公開のハードサブセットで、CritPtの著者らが改訂し、コード実行ツールを使って実行されたもの
Indexに残留: AA-Briefcase、AutomationBench-AA、GDP.pdf、Terminal-Bench 4.0
Indexから除外: GDPval-AA v2.1、SciCode、AA-LCR v1.1
主な結果:
➤ Claude Opus 5.5(max)が58で首位、以下GPT-6 Astra(max、57)、GPT-6.1 Sol(max、55)が続きます。AnthropicとOpenAIがトップ5モデルを占めます。Gemini 4 Argon(high)が次点で50
➤ オープンウェイトの差が3ポイントから12ポイントに拡大: Kimi K3.1 Pro(ウェイトは未公開)が46で最高のオープンウェイトモデルです。公開済みウェイトでは、DeepSeek V4.1 Flash 1017(max)とGLM-5.3(max)が32で先行し、首位から26ポイント差で、Claude Haiku 5.5(max、36)を下回ります
➤ 上位モデル間でタスクあたりコストが13倍以上異なる: 表示されている最高スコアの10モデルのうち、GPT-6.1 Terra(max)がIntelligence Indexタスクあたり$0.96で最も安く、Claude Fable 5.1(max)が$13.04で最も高価です