分類、ツール呼び出し、知識などにわたってディシジョンモデルをベンチマークする「Artificial Analysis Decision Index」を紹介します。ディシジョンモデルの中ではJevが首位ですが、Claude Haiku 5.5などの言語モデルは依然として高い精度を達成しているものの、コストとレイテンシははるかに大きくなります
ディシジョンモデルは、確率付きの構造化された回答や分類を提供し、言語モデルを使うよりも高速な応答と低いコストを実現します。Artificial Analysis Decision Index v1.0は、ディシジョンモデルの能力、コスト、速度を比較し、言語モデルとの比較も行います。
Artificial Analysis Decision Index v1.0のベンチマーク：
➤ AA-Omniscience-Decision：独自のAA-Omniscienceベンチマークから改変した500問の非公開データセットで、ディシジョンモデルの知識とハルシネーション（幻覚）の傾向を測定
➤ HLE-MultiChoice：Humanity’s Last Examからのテキストのみの513問の選択問題で、ディシジョンモデルの推論能力をテスト
➤ When2Call：NVIDIAによるツール呼び出しベンチマークで、モデルがツールを呼び出す、明確化を求める、回答を拒否する、直接回答するのいずれかを正しく判断できるかをテストし、エージェント型ワークフローとツールルーティングに関連する能力を評価
➤ WildGuardTest：有害なユーザーリクエスト、アシスタントの拒否、有害な応答にわたってモデルの分類能力を評価するセーフティベンチマーク。モデルの拒否を一貫して引き起こす質問を除外した上で、3人の human アノテーターの全員が3つのラベルすべてについて合意した、元の1,725行のうち835行のサブセットを使用しています
主な結果：
➤ Jev 1.13がDecision Indexの首位に立ち、Capability vs. Costパレートフロンティア上に位置しています：@typesafeaiのJev 1.13はArtificial Analysis Decision Indexで58を獲得し、@fastinoAIのGLiDE（54）および@MicrosoftのMicrosoft-Decision-1（54）を上回りました。@perplexity_aiのDecider v1.1 27BはCost per 1M Tasksが17ドルと最も低く、Microsoft-Decision-1（31ドル）とJev 1.13（42ドル）もCapability vs. Costパレートフロンティア上に位置しています。Celeris-1 Decisionはタスクあたり0.06秒と最も速く、Jev 1.13（タスクあたり0.13秒）の2倍以上の速さです
➤ ディシジョンモデルは知識・推論タスクにおいて較正が不十分です：選択した回答のほぼすべての確率レベルにおいて、全ディシジョンモデルの精度はその確率を下回ります。この差はAA-Omniscience-DecisionとHLE-MultiChoiceで最も大きく、一方、ほとんどのモデルはWildGuardTest（分類）とWhen2Call（ツール呼び出し）では比較的よく較正されています
➤ ディシジョンモデルは言語モデルに比べて速度とコストで大きな優位性を持つ一方、知識と推論では劣ります：分類およびツール呼び出しのタスクでは、最先端のディシジョンモデルは言語モデルと同等の性能を発揮しながら、大幅に速く安価です。しかし、知識と推論では言語モデルが大きく上回ります。Claude Haiku 5.5（Low）はDecision Indexで61を獲得し、Jev 1.13を3ポイント上回りますが、タスクあたりの時間は1.4秒対0.13秒（11倍遅く）、コストは1M Tasksあたり184ドル対Jev 1.13の42ドル（4.4倍高価）となります
私たちは、開発者や企業がディシジョンモデルをいつどのように使うべきかをよりよく理解できるよう、Artificial Analysis Decision Indexの開発を継続していきます。
