30モデルにわたる90K超の実世界エージェントセッションから構築された、ArenaのAlignment Indexは3つの重要なシグナルを測定します:
- Unauthorized Action (UA)(無許可アクション): ユーザーの指示や権限を超えた行動を取ること。
- False Attribution (FA)(虚偽の帰属): ユーザーが提供した証拠と矛盾する発言や行動を帰属させること。
- Deceptive Completion (DC)(欺瞞的な完了): タスクが完了していないのに完了したと主張すること。
Arena Alignment Indexの詳細はこちら: https://arena.ai/leaderboard/agent/alignment