Por Heng Yu, desde Ao Fei Si
QbitAI | Cuenta oficial de WeChat QbitAI
Como los ganchos pequeños de tamaño reducido en la estantería quedaban parcialmente ocultos por las etiquetas de precio, el robot que trabajaba en la tienda de conveniencia falló en su primer intento de colgar mercancía…… y se quedó con la mano vacía.
Anteriormente, en este momento hacía falta que un ingeniero humano interviniera: primero diagnosticar el problema, luego ajustar el programa y complementar los datos, y hacer que el robot practicara de nuevo.
Pero este robot era un poco diferente.Él mismo ideó un nuevo método.
Revisó los registros de ejecución anteriores y descubrió que la resolución del ángulo de visión de la cámara de la cabeza era insuficiente y que, sumado a la oclusión de las etiquetas, le resultaba difícil ver con claridad la posición de los ganchos pequeños.
Entonces, el Agent ajustó la estrategia: primero acercó la mano izquierda al objetivo, usando la cámara de la muñeca para añadir una vista de corta distancia, y tras confirmar la posición, la mano derecha completó la tarea de colgar la mercancía.
Más digno de mención aún es que, en ese momento, el robot no solo descubrió por sí mismo dónde estaba el problema y encontró la solución,sino que también acumuló silenciosamente esta experiencia eficaz, por si fuera necesaria en el futuro.
Este mecanismo que permite al robot descubrir problemas en su trabajo, ajustar estrategias y acumular experiencia tiene detrásel framework de Agent encarnadoGenie Master, presentado recientemente por Zhiyuan.
Esta es también la cuarta entrega de la serie de anuncios tecnológicos “AI WAVE” lanzada recientemente por Zhiyuan: en esta ocasión, Zhiyuan ha llevado por primera vez en la industria el Physical RSI (autoevolución recursiva encarnada) al flujo de trabajo real de una tienda de conveniencia.
Con el impulso de Genie Master, el robot Zhiyuan Spirit G2, al ejecutar tareas en un entorno real de tienda de conveniencia, ya puede analizar de forma autónoma las causas de los fallos, ajustar estrategias y acumular experiencia, sin depender de demostraciones ni depuración humanas,lograndouna mejora continua de sí mismo “sin humanos en el bucle”.
Es la primera vez en la industria que se sale de los entornos de simulación y de los escenarios de laboratorio (toy setting) para poner en marcha y validar en un escenario comercial realel Physical RSI.
¿Cómo funciona exactamente este circuito cerrado de evolución autónoma de Genie Master? ¿Y qué cambios disruptivos puede aportar para el despliegue masivo de robots?
¿Qué es Genie Master?
Para entender por qué este robot puede “iluminarse por sí mismo”, primero hay que ver qué es exactamente el Genie Master que hay detrás.
En pocas palabras, Genie Master esun framework de Agent encarnadocuya tarea central es conectar la capacidad de razonamiento del Agent de nivel superior con la capacidad de ejecución de movimientos del robot de nivel inferior.
No solo permite al Agent invocar con fluidez las distintas capacidades del robot y comprender la retroalimentación física real de la ejecución, sino que también puede organizar de forma continua acciones y prácticas específicas según el progreso de la tarea.
Una vez que el robot expone déficits de capacidad en su trabajo real, este problema entra directamente en el proceso de mejora autónoma.
No es difícil ver que Genie Master busca construir con especial énfasisun mecanismo de mejora continua después del despliegue del robot——Esto implica tanto el juicio y el ajuste dinámico en el momento de ejecutar la tarea, como la acumulación de experiencia posterior y la actualización de las estrategias de acciones subyacentes.
La razón por la que Zhiyuan propuso este marco es que ha visto los puntos de dolor persistentes en la implementación de la industria.
Los profesionales del sector saben que, cuando los robots entran en escenarios comerciales reales, inevitablemente se encuentran con casos de cola larga no cubiertos durante la fase de entrenamiento.
Fallas en la ejecución, movimientos inestables o tareas que toman demasiado tiempo pueden requerir la intervención de ingenieros para el diagnóstico, y luego mejorar el desempeño ajustando programas, agregando datos de demostración o entrenando modelos.
Cuantos más escenarios y más complejas las tareas, mayor será la carga de trabajo de investigación, desarrollo y mantenimiento.
Si cada nueva demanda tiene que esperar a que personas la investiguen y depuren desde cero, la velocidad de iteración se verá limitada, y será aún más difícil desplegar la implementación a gran escala a través de múltiples escenarios.
En una palabra,para que la inteligencia encarnada pueda realmente usarse a gran escala, debe pasar de depender de demostraciones humanas, es decir, deun 'ajuste fino pasivo' a un 'modo de autoevolución' en el que el robot descubre y resuelve problemas por sí mismo.
Genie Master espera delegar parte de este trabajo a un Agent.
Al encargar al Agent el diagnóstico de problemas, la organización de prácticas y la evaluación de resultados, Genie Master permite que los robots adquieran nuevas capacidades de manera autónoma, con lo cualreduce drásticamente el ciclo de desarrollo que va desde'que el cliente plantee una nueva demanda' hasta 'que el robot domine esta nueva habilidad'.
Además de la reposición de ganchos mencionada al principio, en las pruebas reales en una tienda de conveniencia, el robot equipado con Genie Master también demostró más capacidades para lidiar con situaciones complejas.
Según Zhiyuan, el equipo de Genie Master ya ha incorporado la toma de productos, la reposición, la limpieza, la recuperación ante anomalías y la colaboración multirobot en un flujo de trabajo unificado, explorando el circuito cerrado de mejora continua de los robots en negocios reales.
Entrenar por sí mismo en los tiempos libres: el marco de Agent encarnado conecta el cerebro con el cerebelo
Dejar que los robots se autoevolucionen en su trabajo no es una idea difícil de concebir.
Pero antes de eso, ¿por qué este asunto solo se quedaba en discusiones de laboratorio y casi nadie lo llevaba realmente a la práctica en negocios reales?
La razón de fondo es que tanto la acumulación de experiencia en el nivel superior como la internalización de políticas en el nivel inferior deben apoyarse en una base extremadamente sólida:
el razonamiento de nivel superiorlas guías del "cerebro" deben poder concretarse con precisión en acciones; y los resultados del "cerebelo" de ejecución de nivel inferior también deben poder retroalimentarse al cerebro en tiempo real.
Para abrir este canal vital, Genie Master presenta uno de sus diseños clave:
el Protocolo de Ejecución Corporizada (Embodied Execution Protocol)EEP (Embodied Execution Protocol).
El EEP establece una interfaz unificada entre el Agente y el mundo físico, que abarca principalmente cuatro tipos de interfaces centrales:
- Interfaz de capacidades: permite que el Agente sepa con claridad qué capacidades del robot puede invocar en cada momento;
- Interfaz de guía: permite que el Agente transmita al extremo de ejecución de acciones de nivel inferior indicaciones espaciales concretas, referencias de objetos y requisitos lingüísticos de grano fino;
- Interfaz de retroalimentación: permite que el Agente conozca en tiempo real la situación física real tras la ejecución de las acciones del robot;
- Interfaz de continuidad: permite que el sistema rastree de forma continua el progreso de las tareas y las dependencias de reparto dentro del enjambre de robots, admitiendo la programación dinámica y la reanudación de tareas tras una interrupción.
Mediante el protocolo EEP, junto con diseños colaborativos como la alineación temporal (Temporal Alignment), el Agente de nivel superior puede ajustar dinámicamente sus guías en cualquier momento según los resultados de la ejecución; mientras que la política de acciones (Action Policy) de nivel inferior puede ejecutar las acciones con precisión combinando las observaciones actuales y los requisitos del Agente, y devolver en tiempo real las observaciones y el estado de las subtareas.
En los sistemas de inteligencia corporizada, solo cuando el razonamiento, la ejecución y la retroalimentación se entrelazan verdaderamente en un solo hilo, la autoevolución deja de ser un castillo en el aire.。
El EEP cumple precisamente la función de interfaz clave en esta cadena de interacción, sentando las bases para la posterior acumulación de experiencia y actualización de políticas.
Con los cimientos bien asentados, comienza la rutina de "autoexigencia" de los robots en estado de despliegue.
En el flujo de trabajo normal de la tienda de conveniencia, cuando el robot descubre que ciertas tareas fallan repetidamente, se ejecutan de manera inestable o llevan demasiado tiempo —es decir, cuando se exponen "lagunas de capacidad"—, el Agente no se queda de brazos cruzados.
Aprovecha proactivamente los tiempos de inactividad de la tienda de conveniencia para organizar "entrenamientos adicionales autónomos" de los robots centrados en esos puntos débiles.
Qué entrenar, cómo entrenar, si los resultados tras el entrenamiento cumplen los requisitos y cómo recuperarse y reintentar ante anomalías: todo lo gestiona el Agente. El entorno real de despliegue proporciona así, de manera constante, la base práctica de "qué entrenar y qué corregir a continuación" para los robots.
Una vía para acumular experiencia, otra vía para actualizar la política de acciones
Ya que ha organizado en el escenario real el "descubrimiento de problemas" y el "entrenamiento adicional autónomo", ¿cómo convierten los robots lo entrenado en habilidades que formen verdaderamente parte de sí mismos?
Aquí, Genie Master adopta una estrategia de "doble vía".
Una vía se llamaHarness RSIy se encarga de acumular experiencia; la otra vía se llamaPolicy RSIy se encarga de actualizar la política de acciones.
Veamos primeroHarness RSI。
Su lógica central consiste en mejorar el rendimiento en tareas posteriores manteniendo sin cambios los pesos del modelo y las interfaces de herramientas existentes, principalmente mediante la optimización de los prompts, la memoria (Memory) y las reglas de ejecución.
Durante la ejecución del razonamiento diario, el robot va registrando "sobre la marcha" los ejemplos de éxito y de fallo; posteriormente, mediante una reflexión asíncrona diaria y la integración de la memoria, convierte esos registros de ejecución en guías más eficaces, criterios de finalización, recuperación de anomalías y reglas de colaboración, incorporándolos a la memoria a largo plazo como si se tratara de un "cuaderno de errores", y cargándolos gradualmente según lo requieran las tareas y los escenarios posteriores.
Al mirar retrospectivamente el caso de la "colgación de mercancía en la tienda de conveniencia" mencionado al inicio del artículo, en realidad se trata de Harness RSI en acción.
Al principio, la tasa de éxito de aquella pequeña tarea de colgar ganchos era muy baja. Pero el Agente, tras revisar los registros de fallos, diagnosticó la raíz del problema: "la resolución insuficiente del ángulo de la cámara frontal, sumada a la obstrucción de las etiquetas, impedía que el robot identificara con precisión la posición de los ganchos de tamaño pequeño".
Así pues, el Agente escribió en la experiencia ejecutable la nueva solución de "acercar primero la cámara de la muñeca izquierda para complementar el ángulo de visión, confirmar y luego colgar la mercancía con la mano derecha", de modo que al enfrentarse a situaciones similares en el futuro, pueda recurrir directamente a esa experiencia y actuar con serenidad.
Además del "cuaderno de errores", y con el fin de satisfacer los exigentes requisitos de baja latencia y alta estabilidad del despliegue en robots reales, algunas capacidades deben convertirse en la "memoria muscular" del robot.
Aquí es donde entra en escenaPolicy RSI.
Policy RSI recopila y organiza todos los datos generados por el robot durante la ejecución autónoma, las demostraciones con toma de control humano y la recuperación de anomalías; mejora la calidad de los datos mediante filtrado, ponderación y reetiquetado de objetivos, y luego utiliza aprendizaje supervisado, aprendizaje por imitación o aprendizaje por refuerzo para actualizar directamente el modelo de política de acciones subyacente (Action Policy), logrando que las mejoras queden realmente conservadas en los parámetros del modelo.
Supongamos que el robot realiza en la tienda la tarea de "empaquetado de comida a domicilio sin enredos": los datos generados al manipular las asas enredadas, ejecutar retrocesos y recuperarse de anomalías, tras ser filtrados y procesados, pueden utilizarse para el entrenamiento posterior de la política de acciones, ayudando al modelo a mejorar su rendimiento en tareas similares.
Mediante Policy RSI, el robot logra absorber aprendizajes de cada experiencia de ejecución real, obteniendo una capacidad de ejecución más estable y una capacidad de seguimiento de instrucciones más precisa.
Cabe señalar que esto no significa que a partir de ahora ya no se necesite ninguna participación humana: Policy RSI seguirá utilizando datos como demostraciones con toma de control manual, y la actualización de la política de movimiento también requiere procesamiento de datos y entrenamiento del modelo.
Aún mejor,estas dos rutas no operan por separado, sino que se engranan mutuamente, formando un volante que gira cada vez más rápido.——
Harness RSI se encarga de acumular y organizar la experiencia, ayudando al sistema a analizar las causas de los fallos, elegir la forma de practicar y mejorar las ejecuciones posteriores;
Policy RSI, por su parte, utiliza los datos de ejecución procesados para el entrenamiento de la política de movimiento, permitiendo que la experiencia eficaz tenga la oportunidad de consolidarse en una capacidad de movimiento más estable.
Las dos rutas se promueven mutuamente, formando un circuito cerrado que va de la ejecución en negocios reales, a la detección de brechas de capacidad, la práctica autónoma, hasta la consolidación de la experiencia y la actualización de la política. Zhiyuan espera que, con ello, la experiencia acumulada en cada ronda ayude al sistema a diagnosticar problemas, elegir prácticas y aprovechar los datos de manera más eficaz.
Hacer que la capacidad de mejorar capacidades también evolucione continuamente，obtener un mayor incremento de capacidad con la misma inversiónhe ahí el verdadero poder de la "autoevolución recursiva (RSI)".
De "predeterminado de fábrica" a "cada vez más capaz con el trabajo"
Saliendo de la tienda de conveniencia y adoptando la perspectiva de toda la industria de la inteligencia corporal (embodied intelligence), la dirección que explora Zhiyuan Genie Master está abriendo una nueva puerta.
En primer lugar, en cuanto a la eficiencia de I+D,rompe completamente la atadura anterior de que las capacidades del robot quedaban "predeterminadas de fábrica", y las traslada hacia un nuevo paradigma de "crecimiento continuo durante el despliegue".
Cuando las nuevas soluciones de IA pueden convertirse por sí solas en nuevas habilidades del robot en el sitio, el ciclo de entrega desde que el cliente plantea una nueva necesidad hasta que el robot domina la nueva habilidad se reducirá drásticamente.
En segundo lugar, en cuanto a la comercialización,esto también permite hacer bien las cuentas económicas.
Cuando el robot se vuelve "cada vez más capaz con el trabajo" en operaciones reales, un mismo conjunto de capacidades se va engrosando continuamente en el despliegue.
Al replicarlo en el futuro hacia más tiendas y más escenarios de otras industrias, el costo marginal de los despliegues posteriores y de la I+D seguirá disminuyendo.
Y esa curva de costos en descenso constante es precisamente el requisito fundamental para que la inteligencia corporal avance hacia una comercialización a gran escala.
Al mirar retrospectivamente la serie de lanzamientos "AI WAVE" que Zhiyuan inició a partir del 22 de octubre, como cuarto elemento de la misma, Genie Master desempeña un papel clave de enlace dentro de la disposición integral de IA corporal de pila completa de Zhiyuan: extiende y arraiga el modelo base subyacente y las capacidades de IA de pila completa en un estado de despliegue comercial real.
Por supuesto, por más brillante que sea la explicación de la arquitectura técnica, al final lo que habla es el desempeño en la práctica.
Como bien dice el refrán: sea mula o caballo, hay que sacarlo a pasear para saberlo.
El 2 de noviembre,Zhiyuan planea iniciar una "transmisión en vivo de 24 horas desde la tienda de conveniencia" que podrá ser vista por todo internet.
En ella, 6 robots G2 de Genie trabajarán de manera continua, sometidos a una rigurosa evaluación de permanencia durante la operación real de una tienda de conveniencia sin guion.