Anuncio del índice del agente de codificación de análisis artificial Index v2.0: FrontierCode v1.1 de Cognition reemplaza DeepSWE, se revisa la calificación SWE-Atlas-QnA, y Claude Opus 5.5 en Claude Code lidera con un 61.7
Hoy lanzamos la versión 2.0 del Coding Agent Index. El Index evalúa los modelos junto con sus herramientas de agente, ahora en 290 tareas que abarcan ingeniería de software, uso de terminal y Q&A de repositorios, con los tres puntos de referencia ponderados por igual.
Changelog (Índice v1.5 → Índice v2.0):
→ FrontierCode v1.1 reemplaza a DeepSWE v1.1. FrontierCode es un benchmark desarrollado por @cognition con un conjunto de pruebas privado: 100 tareas de ingeniería de software en repositorios de código abierto reales, evaluadas en función de si un mantenedor fusionaría el cambio. Una tentativa que falla en una comprobación de bloqueo obtiene una puntuación de cero, y aquella que pasa todas las comprobaciones obtiene una puntuación entre el 70% y el 100%, dependiendo de las comprobaciones no bloqueantes que cumple. También escaneamos cada trayectoria con una versión modificada del escáner basado en reglas de Cognition, y cualquier intento de acceder al material de solución obtiene un puntaje de cero.
→ La calificación revisada de SWE-Atlas-QnA es ahora SWE-Atlas-QnA-AA. Las tareas de Q&A del repositorio 124 de Scale AI no han cambiado. Hemos reescrito 127 de los 1,306 criterios de la rúbrica para obtener juicios más consistentes y hemos asignado a GPT-6 Luna (xhigh) como juez, con cinco votos por criterio. El conjunto de datos y la configuración del juez se publican en Hugging Face.
Resultados clave:
➤ Claude Opus 5.5 lidera el Índice: Claude Code con Claude Opus 5.5 (máx.) obtiene un puntaje de 61.7, seguido por Claude Code con Claude Sonnet 5.5 (máx.) con 59.3, Muse Code con Muse Wonder Full (máx.) con 58.9 y Claude Code con Claude Fable 5.1 (máx. con fallback) con 57.6.
➤ FrontierCode v1.1 es donde Opus 5.5 se adelanta: Opus 5.5 obtiene un 56.0% en FrontierCode, por delante de Codex con DeepSeek V4.1 Flash (máximo) con un 52.6%, Codex con GPT-6.1 Sol (máximo) con un 49.4% y Codex con GPT-6 Astra (máximo) con un 49.3%. Debajo de los primeros lugares, las puntuaciones de FrontierCode están muy concentradas: 15 de las 24 configuraciones en el Index tienen una puntuación entre el 43% y el 49%.
➤ La calificación de SWE-Atlas-QnA-AA es más estricta y consistente: en las 21 configuraciones evaluadas en ambas versiones del Index, la puntuación media disminuye en 1.7 puntos, de 58.8% a 57.1%, con 14 de las 21 configuraciones disminuyendo. Las configuraciones individuales pueden variar hasta 7 puntos: Muse Code con Muse Spark Open (xhigh) disminuye en 7.0, Kimi K3 en Kimi Code CLI y Codex con GPT-6 Luna (max) en 6.2, y Muse Code con Muse Wonder (max) en 5.6, mientras que Codex con GPT-6.1 Sol (max) aumenta en 2.1.
➤ Cuatro configuraciones se encuentran en la frontera de costos: Codex con DeepSeek V4.1 Flash (máximo) obtiene 47.3, a un precio de $0.39 por tarea; Codex con GPT-6.1 Sol (máximo) 54.1, a $1.50; Codex con GPT-6 Astra (máximo) 54.7, a $7.04; y Claude Code con Claude Opus 5.5 (máximo) 61.7, a $11.42. Los costos son costos de API por token, no precios de suscripción.
Se seguirá actualizando el Índice del Agente de Codificación de manera incremental, con más evaluaciones y agentes que llegarán.