Arena · X

基于 90K 多场真实世界代理会话以及 30 种模型构建的,Arena 的对齐指数能够衡量三个关键信号

Arena发布对齐指数,基于30个模型的90K+真实代理会话,衡量越权操作、虚假归因和虚假完成三类信号,排行榜可在线查看。推文未给出具体模型排名结果。

由 90K 多个真实世界代理会话和 30 种模型构建而成,Arena 的对齐指数能够衡量三个关键信号:

- 未经授权的操作 (UA):执行超出用户指示或权限的操作。
- 虚假归因 (FA):将与用户提供的证据相悖的陈述或操作归咎于他人。
- 欺骗性完成 (DC):声称任务已完成,但实际上并未完成。

访问竞技场对齐指数:https://arena.ai/leaderboard/agent/alignment

原始出处

Arena · X

内容说明

原始发布及相关权利归来源方。

机器翻译 · 请以原文为准