Agent Arenaのランキング表のために、Bash RecoveryをBash Reliabilityに進化させました。
- 失敗と何を定義するかのより明確な理解：今では各bash呼び出しの目的、結果、エラーの原因、およびそのエラーが呼び出し内で修正されたかどうかを読み取る。新しい信号は、エージェントが実際に犯したミスのみを捕捉する。
- 信頼性の高いbash使用への評価：Bash Reliabilityは、各セッション全体で、非免除呼び出しに対してエージェントが引き起こした失敗を測定する。クリーンなコマンドライン使用を行ったモデルは、最初に正しく実行したことに評価を得る。
後で補填されたスコアが、間もなく私たちの公開Hugging Faceデータセットに登録されます。
Agent Arenaのシグナル定義とBashの信頼性について詳しく知るには：http://arena.ai/resources/agent-arena-signals
