Jay, enviado desde 凹非寺
Quantum Bit | Cuenta oficial QbitAI
El nuevo logro de Google en RSI ya es de código abierto.
Se llamaHarness²y permite que el gran modelo, durante su ejecución, se modifique a sí mismo su código de extensión, su prompt de sistema, su cadena de herramientas y su biblioteca de habilidades.
Sí, RSI en la capa de Harness.
Los resultados también son brutales.
El GLM-5, equipado con este complemento especializado en RSI, se disparó directamente11.5 puntos——
en el benchmark de oficina WorkBuddy-Bench, superando de inmediato al Gemini 3.5 Flash nativo.
En resumen, es un complemento absolutamente descabellado: cualquier modelo que lo use ve cómo sus puntuaciones se disparan.
Actualmente, el proyecto ya está completamente abierto y es compatible con OpenCode y Codex.
Por qué "modificarse a sí mismo" suele fracasar
En el pasado, la industria ha intentado numerosas formas de mejora recursiva propia (Recursive Self-Improvement, abreviado RSI) para hacer más inteligentes a los agentes.
La idea suena muy bonita: dejar que la IA escriba su propio código, modifique sus propios prompts y optimice su propio sistema. Pero, en cuanto se introduce en el mundo abierto real, casi todas fracasan estrepitosamente.
¿Por qué?
Principalmente por dos puntos muertos:
No hay respuestas estándar.
En el laboratorio, al hacer ejercicios hay pruebas unitarias y hay un Ground Truth que te dice si estás en lo correcto. Pero en escenarios reales de trabajo, como redactar un plan de negocios o revisar un contrato legal, no hay nadie en línea que te puntúe.
Si la IA modifica una versión de su Prompt, ¿cómo sabe si ha quedado más inteligente o si simplemente está inventando?
Sobreajuste a tareas singulares.
Cuando por fin se logra modificar el andamiaje para resolver cierta tarea, la siguiente tarea resulta ser escribir un rastreador web, y todas las reglas modificadas antes se convierten en una carga.
Si se aplica directamente el andamiaje modificado a la siguiente tarea, el sistema cae rápidamente en una espiral de ruido, y cuanto más se modifica, más tonto se vuelve.
El Harness² que el equipo de Google propone en esta ocasión está diseñado específicamente para atacar estos dos puntos muertos.
Ellos construyeron unarquitectura recursiva de doble capa。
Recursión de doble capa: con la mano izquierda hace experimentos, con la derecha toma notas
El "al cuadrado" del nombre Harness² se refiere precisamente a dos bucles recursivos anidados uno dentro del otro:recursión a nivel de tarea（Task-level）yrecursión a nivel de mejora（Harnessing-level）。
Primera capa,recursión a nivel de tarea: realizar experimentos comparativos cuando no existe una respuesta estándar.
Ante esta nueva tarea, el sistema primero ejecuta una trayectoria de referencia con el andamiaje inicial. No importa por ahora si el resultado de esta versión es correcto; lo esencial es observar qué defectos revela el modelo durante la ejecución.
Inmediatamente después, activa un mecanismo llamadoPropose–Probe–Compose（提议-探测-合成） :
Propose（提议）：
un rol editorial especializado propone dos esquemas de modificación sobre la trayectoria anterior.
Un conjunto es la "reparación de defectos universal" (Invariant), especializada en capturar problemas comunes a través de dominios, como planes caóticos, bucles infinitos en llamadas a herramientas o explosión de contexto;
el otro conjunto es la "reparación específica del dominio" (Domain), dirigida a los conocimientos y restricciones particulares del negocio actual.
Probe (sondeo)：
Se colocan estos dos andamios candidatos ya modificados de nuevo en la misma tarea y se ejecutan cada uno por separado.
No hace falta un árbitro: el sistema captura sus trayectorias de ejecución y las compara conductualmente con la trayectoria de referencia (Behavioral Contrast). Así se comprueba si el cambio resolvió realmente el paso en el que estaba atascado y si introdujo alguna nueva degradación lógica.
Compose (síntesis)：
El sintetizador reúne todas las pruebas de ejecución, selecciona aquellos cambios que han sido verdaderamente validados por las pruebas de comportamiento y los fusiona en el andamio de ejecución final.
Y esto no es todo. También admite expansión paralela (Parallel Recursion): despliega de una vez $k$ propuestas candidatas en sondeo concurrente, para elegir lo mejor en un espacio de exploración más amplio y sintetizar.
Increíble.
El segundo nivel,recursión a nivel de mejora: convertir la experiencia de modificar andamios en una meta-capacidad.
Para muchos sistemas, cuando la tarea actual termina y el entregable se entrega, su ciclo de vida llega a su fin.
Pero lo realmente potente de Harness² viene después:
entregar todo el registro de depuración (trayectoria de referencia, modificaciones candidatas, pruebas comparativas, decisiones de síntesis) al módulo de reflexión (Experience Reflector).
Tras hacer el balance, el módulo de reflexión escribe un EXPERIENCE.md, almacenando con toda claridad por qué se hizo este cambio, en qué condiciones resultó eficaz y qué consecuencias trajo, en unabiblioteca de experiencia de mejora continua(Harness Improvement Library).
Cuando llega la siguiente tarea nueva:
el lado de ejecución recibe, como siempre, un andamio base limpio y sin nada añadido.
Pero ese "cerebro de mejora" encargado de modificar el andamio ya tiene en sus manos un denso manual de experiencia histórica. En las fases de propuesta y síntesis puede recuperar directamente componentes eficaces y guías para evitar trampas de escenarios pasados similares.
Lo que se mejora no es solo el andamio inmediato, sino la capacidad de mejorar andamios en el futuro.
Esto convierte el parche temporal de una tarea puntual en un activo cognitivo de aprendizaje permanente.
Resultados de las pruebas
Por muy elegante que sea el mecanismo, al final tienen que hablar los datos de un campo de batalla real.
El equipo recurrió directamente a tres referencias profesionales muy exigentes:
WorkBuddy-Bench: abarca tres flujos de trabajo oficiales de alta dificultad: código (Code), web (Web) y suite de oficina (Office);
JobBench: tareas profesionales complejas de extremo a extremo y de largo alcance;
LAB: el benchmark de élite para agentes jurídicos liberado por Harvey.
Como modelo base se eligióGemini 3.5 FlashyGLM-5, el andamiaje de ejecución elegido fue el open source mainstreamOpenCodeyCodex。
. Los resultados fueron extremadamente espectaculares.
En la prueba WorkBuddy-Bench, con solo una única mejora de paso en Harness² ($k=1$):
GLM-5 en OpenCode pasó de 64.2 a 75.7 en la puntuación general, un aumento de 11.5 puntos; en Codex también subió de 64.4 a 75.3.
Gemini 3.5 Flashen OpenCode mejoró de 72.4 a 77.5, y en Codex de 74.5 a 77.5.
Mira estos datos:
GLM-5 con el andamiaje optimizado (75.7 puntos / 75.3 puntos),venció directamente al Gemini 3.5 Flash original sin andamiaje modificado (72.4 puntos / 74.5 puntos)。
En JobBench, que evalúa tareas laborales de extremo a extremo, la mejora de un solo paso también trae mejoras globales: Gemini 3.5 Flash aumentó4.5 puntos, GLM-5 subió3.6 puntos; en el基准 legal LAB, la tasa de aprobación parcial de GLM-5 aumentó directamente11.8 puntos porcentuales。
Si se amplía el presupuesto paralelo a $k=5$ (5 candidaturas concurrentes), el rendimiento sube aún más: en WorkBuddy-Bench llega a aumentar3.9 puntos, JobBench vuelve a subir4.2 puntos, la tasa de aprobación del LAB volvió a subir6.7 puntos porcentuales。
Aún más impresionante es la prueba de transferencia entre dominios de la base de experiencia.
El equipo tomó la biblioteca de experiencia acumulada al ejecutar tareas en JobBench y la conectó directamente a WorkBuddy-Bench para usarla; sin realizar ninguna detección adicional, esto trajo directamente mejoras sin dolor de +0.6 en código, +0.5 en web y +2.9 en oficina.
En los últimos dos años, las expectativas sobre la IA se han apostado casi por completo al "escalado (Scaling) de los modelos base", pensando que bastaría con esperar la próxima generación de GPT o la próxima generación de Gemini para que los problemas de las aplicaciones que tenemos entre manos se resolvieran por sí solos.
Pero la realidad ha echado un cubo de agua fría a todos los profesionales del sector: los modelos de base son cada vez más caros, los beneficios marginales se están ralentizando y los errores de larga cola en los escenarios de implementación siguen siendo infinitos.
Por mucho contexto que le des al modelo, seguirá tomando atajos al procesar conciliaciones entre archivos; por más alto que sea su puntaje en benchmarks, tras escribir un informe no abrirá los archivos por iniciativa propia para verificar el formato.
Estas cosas nunca se podrán saciar solo con los parámetros del preentrenamiento.
Lo que necesita es un conjunto capaz de autopercibirse, auto-repararse y evolucionar continuamente durante la ejecuciónIngeniería cognitiva de Runtime。
Antes, cuando montábamos un scaffolding, un ingeniero tenía que sentarse frente al ordenador a escribir Prompts uno por uno a mano, configurar herramientas y reparar los pipelines, quedando medio muerto de agotamiento y aun así con fugas por todas partes.
Ahora Harness² demuestra un nuevo camino:
Devolver el poder de establecer reglas a los propios Agent.
Autores del artículo
Por último, como de costumbre, hablemos de los autores del artículo.
Eran 9 en total, y con una concentración de chinos étnicos altísima, de hasta el 78%...
Debido a que el espacio del artículo es limitado, aquí presentaremos a tres de ellos en orden.
Ruiyao Xu, primera autora y autora de correspondencia del artículo.
Estudiante de doctorado en el Departamento de Estadística y Ciencia de Datos de la Northwestern University de Estados Unidos, bajo la dirección de Kaize Ding.
Sus principales líneas de investigación incluyen los modelos de lenguaje de gran escala, el aprendizaje automático sobre grafos, la detección de anomalías y los sistemas de agentes de IA.
Este artículo es el trabajo que realizó durante sus prácticas en Google.
Yanfei Chen, ingeniera de investigación sénior en Google Cloud AI Research.
Se licenció en la Universidad de Pekín, donde estudió ingeniería eléctrica y economía, y en 2018 obtuvo el doctorado en ingeniería industrial en la Universidad de Pittsburgh, Estados Unidos.
Posteriormente trabajó como ingeniera de investigación en la empresa de aprendizaje automático Qeexo y en 2020 se incorporó a Google, donde ha participado en proyectos como Vertex AI Search y Gemini Enterprise Deep Research, centrándose principalmente en la investigación de agentes de grandes modelos de lenguaje, generación aumentada por recuperación y aprendizaje con herramientas.
Zhongying CuiZhu, también conocida como Zoey CuiZhu, ingeniera de investigación en Google Cloud AI Research.
En 2019 obtuvo el doctorado en ingeniería eléctrica en la Universidad de Stanford, y se dedica principalmente a la investigación de agentes generales, agentes verificables y evaluación de la calidad de los agentes.
Enlaces de referencia:
[1] https://arxiv.org/html/2610.14224v1