Artificial Analysis · XPublicación de la fuente

La calificación de SWE-Atlas-QnA ha sido revisada, ahora es SWE-Atlas-QnA-AA. Las 124 tareas de preguntas y respuestas de repositorios de…

La calificación de SWE-Atlas-QnA ha sido revisada, ahora es SWE-Atlas-QnA-AA. Las 124 tareas de preguntas y respuestas de repositorios de Scale AI no cambian.

La calificación de SWE-Atlas-QnA ha sido revisada, ahora es SWE-Atlas-QnA-AA. Las 124 tareas de preguntas y respuestas de repositorios de Scale AI no cambian. Reformulamos 127 de los 1,306 criterios de rúbrica para obtener veredictos más consistentes y pasamos a GPT-6 Luna (xhigh) como juez, con cinco votos por criterio.

Muse Code con Muse Wonder Full (max) lidera con 68.8%, seguido de Claude Code con Claude Fable 5.1 (max with fallback) con 66.4%, Claude Code con Claude Opus 5.5 (max) con 65.9% y Claude Code con Claude Sonnet 5.5 (max) con 64.2%. Entre las 21 configuraciones evaluadas en ambas versiones del Index, la puntuación media cae 1.7 puntos, con 14 de 21 bajando.

Fuente original

Artificial Analysis · X

Notas sobre el contenido

La publicación original y los derechos pertenecen a la fuente.

Traducción automática · Consulte el original