Presentamos FrontierCode en Artificial Analysis: ¿pueden los modelos de IA escribir código que los mantenedores aceptarían fusionar?

Todos los artículos

Presentamos FrontierCode en Artificial Analysis: ¿pueden los modelos de IA escribir código que los mantenedores aceptarían fusionar?

El FrontierCode 1.1 de Cognition pone a prueba si los modelos de IA realizan cambios de código que los mantenedores de repositorios reales de código abierto aceptarían fusionar. Los modelos más destacados aún fallan más del 40% de las veces.

Descripción general

FrontierCode es un benchmark de programación de Cognition, creado junto con mantenedores de repositorios de código abierto. Cada tarea pide a un agente que realice un cambio en un repositorio real de código abierto, y el benchmark mide si el cambio es lo suficientemente bueno como para que un mantenedor de ese repositorio lo fusione.

FrontierCode evalúa más que si las pruebas pasan. A diferencia de otras evaluaciones de programación, los modelos también se evalúan por comportamientos como realizar cambios excesivos y diffs grandes, modificar archivos fuera del alcance relevante o añadir pruebas poco útiles. Creemos que este enfoque es valioso en el contexto actual: los modelos ahora son muy capaces en tareas de programación, pero sus cambios todavía pueden requerir una limpieza sustancial antes de que un mantenedor los fusione.

Ejecutamos FrontierCode 1.1 Main, el conjunto principal de 100 tareas de las 150 tareas del benchmark, con cada modelo en el mismo agente harness para comparaciones justas. Las tareas son privadas para evitar la contaminación.

Los modelos más destacados aún fallan más del 40% de las veces. Claude Opus 5.5 (max con fallback) lidera con una puntuación promedio de 52% y una tasa de aprobación de 58%. La tasa de aprobación es la proporción de intentos que completan todos los criterios de bloqueo, mientras que las puntuaciones también reflejan aspectos deseables no bloqueantes.

FrontierCode 1.1 se lanza como una tabla de clasificación independiente y no forma parte del Artificial Analysis Intelligence Index. Planeamos añadirlo a nuestra tabla de clasificación de Coding Agents pronto.

FrontierCode 1.1: Puntuación

Cómo funciona FrontierCode

Descripción general del benchmark

Cognition construyó FrontierCode junto con los mantenedores de 36 repositorios de código abierto, que dedicaron más de 40 horas a cada tarea. Cognition anunció FrontierCode en junio de 2026 y lanzó la versión 1.1 en julio de 2026, que añadió reglas para el uso justo de internet.

El verificador de FrontierCode califica cada intento con pruebas deterministas y revisión cualitativa: pruebas ocultas y verificaciones de comandos, límites sobre qué archivos y cuánto código toca un cambio, y una revisión por LLM según los criterios de los mantenedores. Cada verificación es bloqueante o no bloqueante. Un intento que falla cualquier verificación bloqueante puntúa 0, y uno que las aprueba todas puntúa entre 70% y 100%.

Metodología

• Conjunto de tareas: evaluamos las 100 tareas de FrontierCode 1.1 Main con tres intentos por tarea.
• Agente harness: cada modelo se ejecuta en Stirrup, nuestro agente harness de código abierto, con un límite de 250 turnos por intento.
• Calificación: un juez LLM evalúa los criterios de revisión de la rúbrica. Usamos GPT-6 Luna (medium) como juez.
• Búsqueda de la respuesta: un intento que el escáner de trayectorias de Cognition marca bajo las reglas de uso justo de internet puntúa 0.
• Puntuación: promediamos los tres intentos de cada tarea y luego promediamos las puntuaciones de las tareas con el mismo peso.

Los detalles completos están en la página de metodología.

Hallazgos clave

• Los modelos líderes aún fallan más del 40% de las veces: Claude Opus 5.5 (max con fallback) lidera con 52% tras superar cada verificación de bloqueo en el 58% de sus intentos, seguido de GPT-6.1 Sol (max) y Claude Fable 5.1 (max con fallback) con 49%
• La cima de la tabla de clasificación está muy reñida: nueve modelos de seis laborcios puntúan entre 43% y 52%. MiMo-V2.6-Pro es el modelo de pesos abiertos líder con 45%, seguido de DeepSeek V4.1 Flash (max) y Kimi K3 (max) con 44%
• GPT-6.1 Sol (max) ofrece el mejor rendimiento por su costo: a $0.81 por tarea puntúa 49%, igualando a Claude Fable 5.1 (max con fallback) a menos de una décima parte del costo por tarea de los modelos líderes de Anthropic
• 9 de las 100 tareas no son superadas por ningún modelo en ningún intento, y ninguna tarea es superada por todos los modelos en todos los intentos

Tasa de aprobación

Ejecutamos cada tarea tres veces. Un intento se aprueba cuando cumple todas las verificaciones bloqueantes. Las tasas de aprobación van desde el 58% de los intentos para Claude Opus 5.5 (max con fallback) hasta el 16% para Muse Glimmer (high).

FrontierCode 1.1: Tasa de aprobación

Costo

El costo por tarea abarca más de 100x, desde $0.09 para GPT-6 Luna (max) hasta $12.00 para Claude Fable 5.1 (max con fallback). Cuatro modelos se sitúan en la frontera de Pareto de puntaje frente a costo: GPT-6 Luna (max) con 42% y $0.09 por tarea, MiMo-V2.6-Pro con 45% y $0.18, GPT-6.1 Sol (max) con 49% y $0.81, y Claude Opus 5.5 (max con fallback) con 52% y $10.15. El último paso en la frontera, de GPT-6.1 Sol (max) a Claude Opus 5.5 (max con fallback), añade 3 puntos por más de 12 veces el costo por tarea.

GPT-6.1 Sol (max) obtiene 2 puntos más que GPT-6 Astra (max) a alrededor de un quinto del costo por tarea, $0.81 frente a $4.22. Claude Sonnet 5.5 (max con fallback) usa ~50% más tokens de salida por tarea que Claude Opus 5.5 (max con fallback), pero a la mitad del precio por token cuesta menos, $8.26 frente a $10.15.

FrontierCode 1.1: Puntaje vs. costo por tarea

Costo promedio por tarea en la evaluación. Los costos se desglosan por precios de tokens de entrada, acierto de caché, escritura de caché, razonamiento y respuesta cuando hay recuentos canónicos de tokens disponibles.

Uso de tokens y tiempo

Los modelos GPT-6 lideran en eficiencia de tokens: GPT-6 Astra (max) y GPT-6.1 Sol (max) usan ~27k y ~33k tokens de salida por tarea, en comparación con ~157k para Claude Opus 5.5 (max con fallback) y ~236k, el mayor de todos los modelos, para Claude Sonnet 5.5 (max con fallback). El tiempo por tarea depende tanto del uso de tokens como de la velocidad de salida en vivo, y varía desde ~3 minutos para Inkling (xhigh) hasta ~46 minutos para Qwen3.8 Max (0902).

FrontierCode 1.1: Tokens de salida por tarea

El número promedio de tokens de respuesta y razonamiento producidos por tarea de referencia en esta evaluación.

Recursos de FrontierCode 1.1

Gracias al equipo de Cognition por construir FrontierCode y trabajar con nosotros para llevarlo a Artificial Analysis.

• La tabla de clasificación está en la página de evaluación de FrontierCode 1.1
• La página de metodología cubre nuestra implementación, calificación y puntuación
• Las publicaciones Introducing FrontierCode y FrontierCode 1.1 de Cognition describen más a fondo el benchmark y su diseño
• Nuestro harness de agente de código abierto Stirrup , que usamos para FrontierCode, está en GitHub

Lea el último

Presentamos los modelos de acceso confiable en el Cyber Index de Artificial Analysis

GPT-6 Sol (Daybreak Blue) ahora lidera el Cyber Index

8 de octubre de 2026

Anthropic ha lanzado Claude Haiku 5.5

Claude Haiku 5.5 obtiene 43 puntos en el Artificial Analysis Intelligence Index, 26 puntos más un año después del último lanzamiento de Haiku

7 de octubre de 2026