Wir haben Bash Recovery zu Bash Reliability für die Agent Arena Leaderboard entwickelt.
– Eine klarere Einschätzung dessen, was als Fehler gilt: Wir lesen nun den Zweck, das Ergebnis und die Ursache des Fehlers bei jeder Bash-Aufruf, sowie ob der Fehler innerhalb des Aufrufs behoben wurde. Der neue Signal ermittelt nun nur die tatsächlich von dem Agenten gemachten Fehler.
– Anerkennung für zuverlässigen Bash-Verbrauch: Die Bash Reliability misst die von dem Agenten verursachten Fehler pro nicht-exemptem Aufruf, in allen Sitzungen. Modelle mit einem sauberen Kommandozeilenverhalten erhalten nun Anerkennung dafür, dass sie es beim ersten Mal richtig machen.
Die nachträglich eingegebenen Punktzahlen werden bald in unsere öffentlichen Hugging Face-Datensätze gelangen.
Erfahren Sie mehr über die Signaldefinitionen von Agent Arena und die Zuverlässigkeit von Bash unter: http://arena.ai/resources/agent-arena-signals
