由 90K 多场真实世界代理会话以及 30 种模型构建而成,Arena 的 Alignment Index 能够衡量三种关键信号:
- 未经授权的操作 (UA):执行超出用户指示或权限的操作。
- 虚假归因 (FA):将与用户提供的证据相矛盾的陈述或操作归咎于他人。
- 欺骗性完成 (DC):在任务未完成的状况下声称已完成。
访问竞技场对齐指数:https://arena.ai/leaderboard/agent/alignment
Arena基于90K+真实代理会话与30个模型推出对齐指数,测量未授权操作、虚假归因和虚假完成三类代理风险信号。结果可在其排行榜查看,但正文未说明具体计算方法。
由 90K 多场真实世界代理会话以及 30 种模型构建而成,Arena 的 Alignment Index 能够衡量三种关键信号:
- 未经授权的操作 (UA):执行超出用户指示或权限的操作。
- 虚假归因 (FA):将与用户提供的证据相矛盾的陈述或操作归咎于他人。
- 欺骗性完成 (DC):在任务未完成的状况下声称已完成。
访问竞技场对齐指数:https://arena.ai/leaderboard/agent/alignment
原始发布及相关权利归来源方。
机器翻译 · 请以原文为准