我们为 Agent Arena 排行榜开发了 Bash Recovery 与 Bash Reliability 功能。
- 对“失败”的定义更加明确：现在我们能够分析每个 `bash` 调用的目的、结果及错误原因，以及该错误是否在调用过程中被修复。新的指标仅记录代理实际犯下的错误。
- 对可靠 `bash` 使用的认可：`Bash Reliability` 指标衡量每个非豁免调用中由代理引起的失败情况，涵盖所有会话。那些使用命令行命令正确的模型现在可以获得奖励。
补入的分数即将被纳入我们的公开 Hugging Face 数据集中。
在以下链接中了解关于 Agent Arena 信号定义和 Bash 可靠性更多信息：http://arena.ai/resources/agent-arena-signals
