Hemos desarrollado Bash Recovery para Bash Reliability para el tablero de clasificación del Agent Arena.
- Una lectura más precisa de lo que se considera un fracaso: ahora interpretamos el propósito de cada llamada a Bash, el resultado y la causa del error, y si el error fue corregido dentro de la llamada. La nueva señal ahora captura solo los errores que el agente realmente ha cometido.
- Reconocimiento por el uso confiable de Bash: La medida de fiabilidad de Bash mide los fracasos causados por el agente en cada llamada no exenta, en todas las sesiones. Los modelos que utilizan una línea de comandos limpia ahora reciben crédito por hacerlo correctamente la primera vez.
Los puntajes rellenados llegarán a nuestros conjuntos de datos públicos de Hugging Face pronto.
Aprenda más sobre las definiciones de señales de Agent Arena y la fiabilidad de Bash en: http://arena.ai/resources/agent-arena-signals
