30モデルを対象とした90K超の実世界エージェントセッションから構築された、ArenaのAlignment Indexは3つの重要なシグナルを測定します:
- 不正操作（Unauthorized Action、UA）: ユーザーの指示や権限を超えた操作を行うこと。
- 虚偽の帰属（False Attribution、FA）: ユーザーが提供した証拠と矛盾する発言や行動を帰属させること。
- 虚偽の完了報告（Deceptive Completion、DC）: タスクが完了していないのに完了したと主張すること。
Arena Alignment Indexの詳細はこちら: https://arena.ai/leaderboard/agent/alignment