Artificial Analysis Intelligence Index v5 の発表
Index v5 では、新規ベンチマーク 2 件とアップグレード 3 件が特徴です。初めて、Index の過半数が非公開データセットに基づいて構築されました
Artificial Analysis Intelligence Index は、今日の実世界での利用を反映した、タスク全体にわたるモデル能力の総合的な指標です。v5 は、1 月に v4 が登場して以来最大のアップグレードです。v5 では、Index の 60% が非公開のテストセットまたは回答を非公開にした評価に基づいています。
Intelligence Index v5 と同時に、モデルの能力を 1 つの連続的なスケールで時系列に追跡する Artificial Analysis Progress Index v1 を公開します。
Intelligence Index の新規項目:
➤ FrontierCode 2.0: Cognition が新たに公開した非公開ベンチマークで、実世界のコーディングタスクを、リポジトリのメンテナーがエージェントの変更をマージするかどうかで評価します
➤ Terminal-Bench-Science: ターミナル環境で実行される 70 のエージェント型科学研究タスク
アップグレード:
➤ HLE-Diamond（Humanity's Last Exam の置き換え）: Humanity's Last Exam の洗練された 1,000 問バージョンで、推論問題と知識問題が均等に分割されています
➤ AA-Omniscience v1.1: 飽和した公開セットの問題を削除し、新しい問題を追加し、曖昧または誤りのある問題を修正した更新版データセット
➤ CritPt v2: CritPt v2 の非公開の 40 問からなる難問サブセットで、CritPt の作者によって改訂され、コード実行ツール付きで実行されます
Index に残留: AA-Briefcase、AutomationBench-AA、GDP.pdf、Terminal-Bench 4.0
Index から削除: GDPval-AA v2.1、SciCode、AA-LCR v1.1
Intelligence Index v5 の重み付け:
➤ Knowledge Work（25%）: AA-Briefcase（15%）、AutomationBench-AA（5%）、GDP.pdf（5%）
➤ Coding（25%）: FrontierCode 2.0（15%）および Terminal-Bench 4.0（10%）
➤ Science（25%）: Terminal-Bench-Science（15%）および CritPt v2 hard subset（10%）
➤ General（25%）: AA-Omniscience v1.1 15%（正答率 10%、非ハルシネーション 5%）および HLE-Diamond（10%）
主な結果:
➤ Claude Opus 5.5（max）が58で首位、以下GPT-6 Astra（max、57）とGPT-6.1 Sol（max、55）が続く： 上位5モデルをAnthropicとOpenAIが占めている。次点はGemini 4 Argon（high）で50
➤ オープンウェイトとの差が3ポイントから12ポイントに拡大： Kimi K3.1 Pro（ウェイト未公開）が46でトップのオープンウェイトモデル。公開済みウェイトの中では、DeepSeek V4.1 Flash 1017（max）とGLM-5.3（max）が32で首位であり、リーダーから26ポイント差で、Claude Haiku 5.5（max、36）を下回っている
➤ タスクあたりのコストは上位モデル間で13倍以上の差がある： スコア上位10モデルのうち、GPT-6.1 Terra（max）が最も安く、Intelligence Indexタスクあたり0.96ドル、Claude Fable 5.1（max）が最も高く13.04ドル
FrontierCode 2.0 は、Cognitionの非公開コーディングベンチマークの最新更新版である。本日早くに公開されたもので、実際のオープンソースリポジトリに基づく132のタスクから構成され、メンテナーがエージェントの変更をマージするかどうかで評価される。ブロッキングチェックに1つでも失敗した試行は0点となり、汚染を避けるためタスクは非公開のまま維持される。当社のエージェントハーネスであるStirrupで各タスクを3回実行する。
Claude Opus 5.5（max）が46%で首位、以下GPT-6 Astra（max）、GPT-6.1 Terra（max）、Claude Sonnet 5.5（max）がすべて42%で続く。DeepSeek V4.1 Flash 1017（max）は28%で最高スコアのオープンウェイトモデルであり、リーダーから18ポイント差。
Terminal-Bench-Science は、エージェントがターミナル上で科学研究のワークフローを実行できるかをテストする。各タスクは専門家が選定・レビューし、すべてのテストに合格した場合のみタスクが合格とみなされる。
GPT-6 Astra（max）が63%で首位、以下Claude Opus 5.5（max）が59%、GPT-6.1 Sol（max）が58%で続く。上位陣より下ではスコアが急落する：最高スコアのオープンウェイトモデルであるKimi K3.1 Pro（ウェイト未公開）は34%、Claude Haiku 5.5（max）は20%。公開済みウェイトを持つ最高のオープンウェイトモデルであるDeepSeek V4.1 Flash 1017（max）は13%で、当社がベンチマークしたオープンウェイトモデルの大半は10%未満である。
HLE-Diamond は、IndexにおいてHumanity's Last Examに代わるものである。Center for AI Safety（CAIS）とScale AIによるHumanity's Last Examの精選版で、1,000問構成であり、推論と知識に均等に分割されている。Claude Opus 5.5（max）が68%で首位、以下GPT-6 Astra（max）が64%、Claude Fable 5.1（max）が60%で続く。
上位モデルにとって、知識の問題は推論の問題より難しい：Claude Opus 5.5（max）とGPT-6 Astra（max）は推論でいずれも78%を記録するのに対し、知識ではそれぞれ58%と50%である。
AA-Omniscience v1.1 は、当社の知識・ハルシネーションベンチマークのクリーニング版であり、飽和した公開セットの問題を削除し、新しい問題を追加し、曖昧または誤りのある問題を改訂したものである。スコアはおおむねv1と整合しており、モデルはAA-Omniscience v1.1 Indexで平均2ポイント低いスコア（中央値0.6）となった。また、Hugging Faceで新しい公開サブセットAA-Omniscience-Public-v1.1をリリースし、公開セットと非公開セットの間で精度、ハルシネーション率、総合パフォーマンスが一貫するよう再較正した。
The Index scores CritPt v2 の非公開40問の難問サブセット：研究レベルの物理の70問から、公開時に7つのフロンティアモデルが5回すべての試行で解いた30問を除いたものである。モデルは当社のエージェントハーネスであるStirrup上のオフラインPythonサンドボックスで動作する。
GPT-6 Astraが高 effortで72%で首位、次いでGPT-6.1 Solがmax effortで69%。全体のIndexで首位のモデルであるClaude Opus 5.5(max)は61%を獲得。Kimi K3.1 Pro(ウェイト未公開)は45%で、オープンウェイトモデルとして最高スコアです。
v5では9つの評価すべてに大きな向上の余地があり、すべてで首位に立つ単一のモデルは存在しません。 測定したモデルのうち、Claude Opus 5.5が3つで首位となり、他の5つのモデルが残る6つで首位となっています:
➤ Claude Opus 5.5: FrontierCode 2.0(46%)、HLE-Diamond(68%)、AA-Omniscience v1.1(48)
➤ GPT-6 Astra: Terminal-Bench-Science(63%)およびCritPt v2 hard subset(72%)
➤ Claude Sonnet 5.5: AA-Briefcase(1812 Elo)
➤ Kimi K3.1 Pro: Terminal-Bench 4.0(67%)
➤ Gemini 4 Argon: AutomationBench-AA(78%)
➤ Muse Wonder Full: GDP.pdf(33% all-pass)
オープンウェイトモデルはv5ではさらに遅れを取っています。 最高のKimi K3.1 Pro(ウェイト未公開)は46で、首位と12ポイント差。v4.3では差は3ポイントでした。ウェイトが公開されているモデルの中では、DeepSeek V4.1 Flash 1017(max)とGLM-5.3(max)がともに32で最高スコアとなり、Claude Haiku 5.5(max)はそれらすべてを上回ります。
差が最も大きいのはHLE-DiamondとTerminal-Bench-Scienceで、Kimi K3.1 Proはそれぞれ37%と34%であるのに対し、Claude Opus 5.5(max)は68%、GPT-6 Astra(max)は63%です。
上位モデルの間でコストは大きく異なります。 Claude Opus 5.5(max)はIntelligence Indexタスクあたり$10.04、GPT-6 Astra(max)は$6.24、GPT-6.1 Sol(max)は$1.27です。GPT-6.1 Sol(max)は、タスクあたり約8分の1のコストで、Claude Opus 5.5(max)の4ポイント以内のスコアを達成しています。
v5ではv4.3よりもeffort設定が重要になります。 Claude Opus 5.5はlow effortで35、maxで58のスコアであり、Intelligence Indexタスクあたりのコストは10倍です($0.98対$10.04)。Claude Sonnet 5.5はlowからmaxまで29ポイントの幅で、v4.3の20から拡大し、GPT-6.1 Solの幅は10ポイントから20ポイントへと倍増しました。
v5のタスクはモデルに大幅に多くの作業を要求します。 測定したすべてのモデルが、v4.3に比べてIntelligence Indexタスクあたりのより多くの出力トークンを生成しており、中央値は35kから59kへと3分の2増加しました。
➤ エージェント型評価がトークン使用量の大部分を占めます: Terminal-Bench-Science、Terminal-Bench 4.0、AA-Briefcase、FrontierCode 2.0でIndexの重みの55%を占める一方、出力トークンの中央値で約90%を占めます
➤ Terminal-Bench-Scienceが最もトークン集約的です: これ単体でタスクあたりの出力トークンのおよそ3分の1を占めます
v5と併せて、Artificial Analysis Progress Index v1を公開します。 これは、2022年11月以降にリリースされた言語モデルを、幅広いベンチマークにわたる単一の能力スケール上に位置付けます。
Progress Indexを使えば、数年離れてリリースされたモデル間を含め、基礎能力が時間とともにどう変化したかを比較できます。現在のユースケース向けにモデルを比較し、現時点のフロンティアを理解するには、現在のモデルの知能を測る主要な指標であり続けているIntelligence Indexを使用してください。
Epoch AIとAnthropicに感謝します - Progress Indexの設計にあたって、Epoch Capabilities Indexからの知見を活用しました。
Progress Index を探索する: artificialanalysis.ai/trends
手法について: artificialanalysis.ai/methodology/progress-index
今回のアップデートの基盤となったベンチマークについて、Cognition、Steven Dillmann と Terminal-Bench チーム、Center for AI Safety、Scale AI、そして Minhui Zhu、Minyang Tian、Hao Peng と CritPt チームに感謝いたします。
全結果を探索する: artificialanalysis.ai
手法について: artificialanalysis.ai/methodology/intelligence-benchmarking