Artificial Analysis · XPublicación de la fuente

Los puntajes del índice de agente de codificación v2.0 son más bajos que los de v1.5 para casi todas las configuraciones medidas en ambos…

Los puntajes del Index de Agente de Codificación v2.0 son más bajos que los de v1.5 para casi todas las configuraciones medidas en ambas versiones. Entre las 21 configuraciones evaluadas en ambas versiones del Index, la puntuación media del Index pasa de 54.8 a 47.4, y el 20 de los 21 casos disminuye.

Los puntajes del Index de Agente de Codificación v2.0 son más bajos que los de v1.5 para casi todas las configuraciones medidas en ambas versiones. Entre las 21 configuraciones evaluadas en ambas versiones del Index, la puntuación media del Index pasa de 54.8 a 47.4, y el 20 de los 21 casos disminuye.

La variación proviene de FrontierCode v1.1, donde las mismas configuraciones alcanzan un promedio del 45.1%, en comparación con el 65.6% en DeepSWE v1.1, debido a una contribución menor derivada de la calificación más estricta de SWE-Atlas-QnA-AA. Terminal-Bench 4.0 no ha cambiado. Las puntuaciones en las dos versiones del índice reflejan diferentes configuraciones de evaluación.

Fuente original

Artificial Analysis · X

Notas sobre el contenido

La publicación original y los derechos pertenecen a la fuente.

Traducción automática · Consulte el original