Investigadores de Alibaba y de varias universidades asiáticas construyeron un benchmark de agentes de codificación a partir de solicitudes reales de cambio de usuarios. Incluso el mejor modelo completa por completo solo alrededor de una de cada cuatro tareas, lo que pone en perspectiva las puntuaciones casi perfectas de las pruebas anteriores.
El equipo desarrolló Co-Design Bench, una nueva prueba para agentes de codificación. Los agentes deben reajustar aplicaciones web existentes según solicitudes de usuarios, usando a veces imágenes, grabaciones de audio, videos o documentos como entrada.
Según el paper, GPT-6 Astra, el mejor de los diez modelos probados, cumple alrededor del 70 por ciento de los requisitos de una tarea en promedio. Pero el resultado es completamente correcto en solo el 26.4 por ciento de las tareas. En la mayoría de los casos, el agente se encarga de la mayor parte del trabajo, pero deja al menos un detalle sin terminar, de modo que quien use estas herramientas casi siempre tiene que hacer limpieza a mano.
Los benchmarks de codificación se han vuelto demasiado fáciles para los agentes
Los autores justifican la nueva prueba señalando la saturación de los benchmarks existentes. Cuando los modelos pueden ejecutar, verificar y corregir su propio código, alcanzan puntuaciones superiores al 99 por ciento en esas pruebas, y las diferencias entre modelos apenas pueden medirse.
Co-Design Bench se basa en cambio en solicitudes reales de sesiones de codificación reales. Los investigadores favorecieron los casos en los que los usuarios tuvieron que reformular su solicitud varias veces o revertir cambios, de modo que la prueba contiene principalmente tareas que ya dieron problemas a los agentes de IA en la práctica. Van desde pequeños ajustes, como extraer un monto de un recibo y actualizar todos los totales dependientes, hasta renovaciones completas de proyectos.
La calificación es igualmente estricta. Un juez de IA prueba la aplicación terminada en un navegador, luego un segundo vuelve a verificar cada veredicto positivo y busca maquetas o resultados codificados de forma fija. Los puntos van solo a las características que realmente funcionan en la aplicación.
Varios tipos de cambios en una sola tarea abruman a los modelos
Detrás de GPT-6 Astra, Claude Opus 5 y Qwen3.8-Max ocupan los siguientes puestos, mientras que Grok 4.6 queda en último lugar. En renovaciones más grandes, el mucho más pequeño Qwen3.8-27B sube al segundo puesto, pero los autores no derivan una ventaja general del modelo de ese resultado.
El rendimiento cae en todos los modelos a medida que una tarea combina más tipos de cambios, incluidos diseño (layout), diseño visual, interacción y contenido. Pero estos requisitos entrelazados son la norma en los proyectos reales
La computación adicional hace poco para corregir esta debilidad. GLM-5.2 consume casi seis veces más tokens que GPT-6 Astra en cambios pequeños y aun así obtiene puntuaciones significativamente peores.
El harness moldea los resultados tanto como el modelo
En una prueba aparte, los investigadores ejecutaron los mismos modelos en diferentes harnesses, los programas a través de los cuales un agente lee, escribe y ejecuta código. Qwen3.8-27B obtuvo 75 o solo el 56 por ciento en reformas más amplias dependiendo del entorno. Cuál de los dos modelos resultó superior también dependió del entorno.
Las tablas de clasificación que solo muestran el modelo, por lo tanto, solo cuentan parte de la historia. Los autores recomiendan informar siempre del modelo y del entorno de trabajo juntos. Para las empresas que eligen un agente de programación, eso significa probar ambos componentes como un conjunto.
El nuevo benchmark sí tiene limitaciones. Evalúa una única solicitud fija por tarea; las preguntas de seguimiento o las correcciones a mitad de tarea por parte de los usuarios no forman parte de la prueba. Los jueces de IA también pueden cometer errores.
Un estudio de la organización de investigación METR ya mostró cuánto pueden divergir los resultados de los benchmarks y la usabilidad en el mundo real. La tasa de aceptación real del código generado por IA por parte de los responsables de proyecto fue aproximadamente 24 puntos porcentuales inferior a las puntuaciones del ampliamente utilizado SWE-bench Verified.
Los fallos en los entornos de prueba también pueden permitir que los agentes superen tareas sin resolverlas realmente. Sin embargo, el efecto del entorno de trabajo no es tan claro. Un estudio reciente sobre agentes de programación apenas encontró ningún beneficio medible de los harnesses más elaborados, a pesar de que consumían hasta tres veces más tokens.