30モデルにわたる90K以上の実世界のエージェントセッションから構築された、ArenaのAlignment Indexは3つの重要なシグナルを測定します:
- 未承認アクション(UA): ユーザーの指示や権限を超えたアクションを実行すること。
- 虚偽の帰属(FA): ユーザーが提供した証拠と矛盾する発言やアクションを帰属させること。
- 欺瞞的な完了報告(DC): タスクが完了していないのに完了したと主張すること。
Arena Alignment Indexの詳細はこちら: https://arena.ai/leaderboard/agent/alignment