Los creadores presumen de aumentos de puntuación con nuevos harnesses de agentes como Claude Code u OpenCode. Un estudio encuentra que esa afirmación no se sostiene. Cambiar de harness apenas mueve los resultados más que ejecutar la misma configuración dos veces, pero los costos pueden triplicarse.
Un agente de código combina un modelo de lenguaje con un harness: el system prompt, las herramientas y la gestión de contexto que hacen que el modelo funcione dentro de un repositorio de código. Cada día se lanzan nuevos harnesses, y las tablas de clasificación los mezclan libremente, pero dos investigadores de la Universidad de Shandong midieron cuánto importa realmente el harness cuando se mantiene constante el modelo. El título del artículo revela la respuesta: "¿Qué compra un harness? Principalmente tokens."
Las comparaciones anteriores medían ruido
Estudios anteriores reportan brechas de más de 20 puntos entre harnesses, pero esos números casi siempre provienen de una sola ejecución, según los autores. Las simples repeticiones de la misma configuración ya varían hasta seis puntos en SWE-bench Verified. Zhipu AI, por ejemplo, anuncia su propio harness con una ventaja de 2.4 puntos sobre Claude Code, un margen que cae bien dentro de ese rango de ruido. Además, los harnesses a menudo están conectados al benchmark de manera diferente, lo que hace que las comparaciones sean aún menos fiables.
Liu y Han ejecutaron cinco modelos a través de tres harnesses en sus versiones de lanzamiento: Claude Code, OpenCode y mini-SWE-agent. mini-SWE-agent le da al modelo solo una herramienta Bash y omite la gestión de contexto. Claude Code y OpenCode ofrecen herramientas especializadas de archivos y búsqueda, system prompts largos y compresión automática del historial.
Los modelos fueron Qwen3.6, Qwen3.8, Deepseek-V4-Flash, GLM-5.3-Flashy HY4-Preview. Claude Opus 5 se ejecutó como referencia solo en Claude Code. Las pruebas usaron las 45 tareas más difíciles de SWE-bench Verified más un grupo de 447 tareas adicionales. Varias configuraciones se ejecutaron dos veces para medir el ruido.
Todas las ejecuciones se realizaron sin conexión. En pruebas tempranas con acceso a la web, el 71 por ciento de los intentos de los modelos Deepseek y Qwen extrajo la corrección correcta directamente de GitHub en lugar de resolver la tarea por sí mismos. Los modelos Claude casi nunca hicieron esto. Los investigadores descartaron esos resultados y no afirman que algún fabricante haya entrenado con los datos de prueba, pero el patrón fue lo suficientemente fuerte como para que cortaran el acceso a la web en todas las ejecuciones restantes.
Cambiar de harness mueve los resultados aproximadamente lo mismo que una repetición
En el grupo más grande de 447 tareas, Claude Code y mini-SWE-agent, los harnesses más pesado y más ligero, están a menos de dos puntos de distancia para ambos modelos probados. Dentro de una banda de cinco puntos, son estadísticamente equivalentes.
Los investigadores esperaban el mayor efecto del harness en las 45 tareas más difíciles. En cambio, los harnesses difieren en dos a cinco tareas resueltas por modelo, y una simple repetición de la misma configuración desplaza el recuento hasta tres. A veces lidera mini-SWE-agent, a veces lo hace Claude Code.
Las tasas de cambio cuentan la misma historia. Entre dos repeticiones, el resultado mediano cambia en el 13 por ciento de las tareas. Entre dos harnesses diferentes, también es el 13 por ciento. Cambiar de modelo lo eleva al 22 por ciento. Qué tareas gana un harness determinado cambia de una ejecución a otra, como un lanzamiento de moneda. La brecha del harness se comporta como una "nueva extracción del mismo ruido", escriben los autores.
Estas muestras pequeñas también limitan lo que cualquier comparación puede detectar. Con 45 tareas, incluso una brecha de 13 puntos solo aparece la mitad de las veces. Con 447 tareas, las brechas de unos cinco puntos se vuelven detectables de forma fiable. La ventaja de 2.4 puntos que reclama Zhipu queda por debajo de ambos umbrales, y también muchas otras mejoras anunciadas.
Todos los harnesses rinden igual, excepto OpenCode, que se queda atrás
El único efecto medible de los harnesses es un déficit constante de OpenCode. En el gran conjunto de tareas, queda hasta nueve puntos por detrás de los otros dos. Aproximadamente la mitad de esa brecha se debe a un límite de salida. Cuando un modelo supera este límite a mitad de un paso durante el razonamiento, Claude Code le pide que continúe. OpenCode deja que el paso termine ahí, y el intento suele fallar.
Añadir a OpenCode un mensaje de continuación al estilo de Claude Code no ayudó, porque la misma tarea rara vez provoca el mismo desbordamiento en un reintento. Por el resto de la brecha, los autores no tienen explicación, solo una observación: con OpenCode, los modelos dejan de trabajar mucho antes. En los modelos ejecutados localmente, OpenCode también tenía un límite de tiempo mucho más estricto que Claude Code, lo cual los autores señalan como una variable no controlada.
mini-SWE-agent se queda sin ventana de contexto porque carece de gestión de contexto, principalmente en tareas en las que los otros harnesses también fallan. Las herramientas de búsqueda de OpenCode intentan descargar un archivo binario en el primer uso y se rompen sin conexión.
El system prompt y las descripciones de herramientas marcan la factura
Con el mismo modelo, las mismas tareas y la misma lista de precios, una sola tarea puede costar hasta tres veces más según el harness. Las salidas de las herramientas apenas explican la brecha. Los tres harnesses devuelven cantidades similares de texto por llamada.
La verdadera diferencia proviene del system prompt y las descripciones de herramientas. Se reenvían en cada paso y suman unos 16,600 tokens para Claude Code, alrededor de 7,000 para OpenCode y menos de 1,000 para mini-SWE-agent. Claude Code también mantiene la salida de razonamiento del modelo en el historial de conversación, según la ingeniería inversa de los investigadores.
Después de esa primera llamada, el contexto crece a tasas similares en todos los harnesses. El tamaño del system prompt fija el costo base, y el número de pasos lo multiplica. Qué factor domina depende del modelo: con GLM-5.3-Flash, Claude Code cuesta casi el doble que mini-SWE-agent. Con Deepseek-V4-Flash, mini-SWE-agent necesita tantos pasos adicionales que ambos acaban igualando. Los precios más bajos para los tokens en caché reducen las brechas pero no cambian el orden.
Sin ventaja de local, y preguntas abiertas sobre el pensamiento
El harness propio de Deepseek no puntúa mejor con su propio modelo que los otros harnesses, pero es el más caro. Claude Opus 5 entregó resultados idénticos incluso después de que los investigadores quitaran las herramientas de Claude Code. Una versión de hace un año resuelve una cantidad similar de tareas a menos de la mitad del costo, porque Extended Thinking no estaba activado por defecto en aquel entonces.
El pensamiento fue el único caso en que la elección del harness realmente cambió el resultado. Sin pensamiento, mini-SWE-agent con Qwen3.6 cae once puntos, mientras que Claude Code y OpenCode se mantienen dentro del ruido. HY4-Preview también pierde once puntos en Claude Code sin pensamiento. Cuánto depende un agente del razonamiento parece estar ligado a la combinación específica de modelo y harness. Los autores admiten que su cuadrícula de pruebas es demasiado pequeña para explicar por qué.
El estudio se basa principalmente en un benchmark. Una pequeña verificación cruzada en Terminal-Bench 2.1 muestra el mismo patrón. El modelo cerrado más avanzado, Opus 5, solo se ejecutó en Claude Code. Un harness compra "menos maneras de perder una tarea, y una factura, no una tasa de aprobación", concluyen los autores. Recomiendan publicar una repetición de la misma configuración junto con cada comparación de harnesses. Es la única manera de saber cuánta diferencia medida es solo ruido. Los datos y los scripts de análisis están disponibles en GitHub.
Un mayor esfuerzo en el harness rara vez compensa en otros estudios tampoco. En uno, un simple archivo Markdown superó a un complejo sistema de habilidades para agentes de IA de programación. Un estudio anterior ya mostró que la elección del framework puede casi triplicar los costos para el mismo modelo. El diseño de los harnesses recibe mucha atención como resultado. Nvidia recortó recientemente casi la mitad de sus costos de tokens para agentes de programación mediante una mejor guía de los agentes.