우리는 에이전트 아레나 리더보드를 위해 Bash Reliability을 위한 Bash Recovery를 개발했습니다.
- 실패로 간주되는 것에 대한 더 명확한 이해: 이제 각 bash 호출의 목적, 결과 및 오류 원인을 파악하고, 그 오류가 해당 호출 내에서 수정되었는지 여부를 알 수 있습니다. 새로운 신호는 에이전트가 실제로 저지른 실수만을 포착합니다.
- 신뢰할 수 있는 bash 사용에 대한 인정: Bash Reliability은 모든 세션에서 비면제 호출당 에이전트가 발생시킨 실패를 측정합니다. 깔끔한 명령줄 사용을 하는 모델은 처음부터 올바르게 작동했다고 인정받습니다.
보충된 점수들이 곧 우리의 공개 Hugging Face 데이터셋에 등장할 예정입니다.
Agent Arena 신호 정의와 Bash 신뢰성에 대해 더 알아보려면 다음 링크를 방문하세요: http://arena.ai/resources/agent-arena-signals
