Un par de manos diestras capaces de girar nueces y de hacer helado, ya es suficiente para quedar en la memoriaSharpa：
Esta startup de inteligencia encarnada, fundada por miembros del equipo originario de Hesai Technology, ha tenido en el último tiempo como etiqueta más distintiva sus manos diestras táctiles de alta libertad.
En laIROSen curso, Sharpa ha llevado este asunto un paso más allá, llega su primerrobot humanoide general totalmente desarrollado internamente, el D01:
junto con una nueva generación de mano diestra, la W02:
así como un guante de datos exoesquelético, el AE01:
Mano, cuerpo y puerta de entrada de datos, todo expuesto a la vez en el stand.
¿Por qué Sharpa ha empezado a construir el cuerpo del robot, e incluso la puerta de entrada de datos de «cómo aprender a manipular»?
Al ver los tres productos juntos, la respuesta apunta en realidad a la cuestión que casi todos en el sector de la inteligencia encarnada debaten hoy:
¿Qué se necesita realmente para que los robots salgan de las demos de ferias y escenarios y generen valor comercial real?
En el sitio de la IROS, qué es cada uno de los tres productos
Primero el D01, que Sharpa describe como un robot de manipulación diestra con percepción táctil integrada.
Las cifras más destacables de este robot giran todas en torno a la manipulación diestra: relación carga-peso propio del brazo cercana a 1:1, velocidad máxima del efector final superior a 10.5m/s, frecuencia de comunicación de 1000Hz, precisión de posicionamiento repetible de 0.2mm, y muñeca esférica con un diseño a escala humana 1:1.
La «alta velocidad de movimiento» significa que el robot puede completar rápidamente tareas dinámicas como atrapar una barra al vuelo o manipular herramientas:
la «alta capacidad de carga» permite que el brazo conserve suficiente margen de trabajo durante el movimiento; y la precisión de posicionamiento repetible de 0.2mm lleva la capacidad más lejos hacia la operación fina.
Cuando un robot enfrenta tareas complejas, velocidad, fuerza y precisión rara vez pueden existir por separado, y ahí está el foco de diseño del D01.
Más especial aún es el tacto。
El D01 tiene piel electrónica que cubre todo el cuerpo, con percepción táctil en la mitad superior, la tasa de muestreo táctil alcanza los 100Hz, el rango de percepción de fuerza es de 0.1—20N y la resolución de fuerza es de 0.2N. Así, el robot puede percibir directamente toques suaves, colisiones y fuerzas externas.
La razón de la insistencia de Sharpa en el «tacto» se hace más evidente cuando el robot humanoide entra de verdad en un espacio de trabajo, es decir, en un entorno de manipulación diestra：
La vista puede anticipar al robot que «hay algo delante», pero una vez que ocurre el contacto, el robot también necesita saber «dónde se ha tocado, con cuánta fuerza, y si el contacto ha cambiado».
Por ejemplo, para atrapar un objeto que cae a alta velocidad, el robot debe ajustar el estado de brazos y dedos en un tiempo mínimo; o si una persona que trabaja al lado choca con el brazo del robot, este debe determinar de dónde proviene esa fuerza externa y si es necesario cambiar su trayectoria actual. Para estos eventos físicos instantáneos, la vista sola difícilmente aporta información completa.
El cuerpo humano hace esto constantemente. Cuando los dedos perciben que un objeto resbala, aumentan inconscientemente la fuerza de agarre; cuando el brazo toca una mesa, cambia el siguiente movimiento; cuando el cuerpo recibe una fuerza externa, ajusta de inmediato su postura.
Muchos movimientos no necesitan orquestarse primero como una «cadena de pensamiento» en texto que guíe la ejecución: el propio cuerpo ofrece retroalimentación en tiempo real, y el D01, al extender la piel electrónica por brazos y pecho, incorpora esa «retroalimentación corporal» al sistema de percepción del robot.
La cobertura táctil total de las zonas centrales de interacción del D01 cambia el papel del cuerpo del robot dentro del sistema de control: pasa de simple detección de anomalías o registro posterior a convertirse en parte del ajuste del movimiento.
Volvamos a mirarW02, "la nueva generación de mano diestra ultra compacta, ligera y totalmente táctil", donde aparece un cambio algo sorprendente:la generación anterior W01 tenía 22 grados de libertad activos, mientras que W02 los reduce a 21。
Lo que se eliminó es un grado de libertad de la articulación CMC en la base del meñique.
Según la investigación de aplicaciones de Sharpa, este grado de libertad se usa con poca frecuencia en los agarres comunes y la manipulación dentro de la mano, y contribuye poco a las tareas; por eso W02 simplificó la estructura correspondiente, reduciendo también la complejidad mecánica y los puntos potenciales de fallo.
Este es uno de los aspectos más interesantes de W02:que una mano diestra siga aumentando sus capacidades no significa necesariamente que el número de grados de libertad deba subir sin parar。
Además, W02 integra 21 grados de libertad activos en una estructura más compacta: el tamaño de toda la mano se redujo aproximadamente un 30% respecto a W01, y el peso también disminuyó aún más. Esto trae directamente dos cambios: la carga sobre el antebrazo disminuye y es más fácil de insertar en espacios de trabajo diseñados según las dimensiones de la mano humana.
Ser más pequeña y ligera también permite realizar algunas tareas que antes no eran fáciles de lograr.
Por ejemplo, el W02 logra un "radio de agarre cero", lo que le permite manejar con mayor estabilidad objetos de pequeño diámetro como palillos de comida o hilos finos. Las yemas de los dedos están equipadas con sensores visotáctiles de alta resolución, con un rango de percepción de fuerza de 5mN—30N y una resolución espacial de 1mm; el resto de la palma está cubierto por piel electrónica, con un rango de percepción de fuerza de 0.1—20N y una resolución espacial de 5mm.
Es decir, la cobertura táctil del W02 se ha ampliado de «unas pocas puntas de los dedos» a toda la mano; el robot puede obtener simultáneamente información de contacto de las puntas de los dedos, los dedos y la palma, lo cual es especialmente importante para objetos pequeños y la manipulación continua dentro de la mano.
Lo que merece atención aquí es que Sharpa colocó la "miniaturización" y la "cobertura táctil" dentro de la misma restricción de ingeniería: una mano que debe caber en el espacio de trabajo humano y al mismo tiempo conservar suficiente percepción de contacto.
Por último, elAE01, un "guante de datos táctiles exoesquelético de alta fidelidad", diseñado principalmente para teleoperación precisa y recolección de datos en primera persona。
AE01 captura con precisión los movimientos naturales de las manos del operador mediante 22 codificadores y los mapea en tiempo real al robot, logrando una teleoperación de alta fidelidad más natural y sensible.
La clave está en la "retroalimentación": cuando una persona manipula un objeto, los ojos ven la posición y la forma, y los dedos pueden percibir la fuerza, el contacto y el deslizamiento. AE01 permite que el robot devuelva esta información a la persona, de modo que el operador puede ajustar sus movimientos según el tacto.
Al mismo tiempo, los movimientos naturales de la mano humana pueden ser capturados por el robot en tiempo real.
Por lo tanto, el valor de AE01 radica principalmente en el paso de "convertir la experiencia operativa humana en datos utilizables por el robot": las trayectorias de movimiento de la persona, la retroalimentación de contacto en el lado del robot y la correspondencia entre ambos se incorporan en un mismo proceso de recopilación.
¿Qué tiene de diferente la pila completa de manipulación diestra de Sharpa?
Si se examinan los tres productos en el contexto de problemas técnicos concretos, lo interesante de los tres productos de Sharpa presentados en IROS es el intento de transformar la "manipulación diestra" de varias capacidades de hardware aisladas en un sistema integrado en torno aPercepción por contacto, control de lazo cerrado y aprendizaje de datosel sistema tecnológico establecido.
Pero para entender este sistema tecnológico, hay que descomponerlo partiendo de la pregunta: "¿cuándo necesita un robot sentido del tacto?"
Lo que mejor hacen las estrategias visuales tradicionales es la etapa previa al contacto: identificar objetos, estimar posiciones, planificar una trayectoria del brazo y extender la mano hacia allí. El problema aparece precisamente en los últimos centímetros, incluso en los últimos milímetros.
Por ejemplo, al insertar, atornillar, alinear o agarrar objetos flexibles, las variables que determinan si la tarea se completa con éxito suelen quedar ocultas tras el contacto: si el objeto se ha desviado, si se ha deslizado, si la presión es excesiva o si el punto de contacto ha cambiado. La visión puede ver parte del resultado, pero le resulta muy difícil observar de manera estable estos estados físicos instantáneos.
El modelo CraftNet de Sharpa aborda esta cuestión con gran claridad: System 2 se encarga de comprender la tarea y la planificación a largo plazo, System 1 se ocupa de la planificación de movimientos antes del contacto, y System 0 entra en la fase de contacto, procesando a mayor frecuencia la retroalimentación táctil y los movimientos finos. System 0 no solo ejecuta los movimientos finos, sino que también devuelve información de estado a System 1, permitiendo que los movimientos de nivel superior se reajusten cuando la ejecución falla o el estado físico cambia.
Esto significaEl papel del tacto aquí es, en realidad, cambiar la escala temporal del bucle de control.。
Antes del contacto, el robot puede pensar con un modelo más lento sobre "qué voy a agarrar y desde dónde acercarme"; después del contacto, lo que se necesita es "¿se está deslizando ahora?, ¿debo apretar un poco más?, ¿hacia dónde mover un poco los dedos?". Esto último exige que el sistema de control funcione a una frecuencia más alta.
Y si damos un paso más allá, la pregunta se convierte en: ¿cómo recuerda un robot una experiencia de contacto?
Aquí también radica lo que hace que la última investigación WM-Craftnet de Sharpa merezca más atención que una simple "fusión de visión y tacto".
A diferencia de investigaciones anteriores que simplemente concatenaban el mapa de profundidad, la información táctil y el estado de las articulaciones para alimentar a la política, el nuevo estudio entrenó un World Synesthesia Model, es decir, un modelo del mundo con memoria temporal.
La entrada incluye la profundidad de la muñeca, el tacto, la propiocepción y las acciones ejecutadas previamente; mediante un modelo de espacio de estados recurrente al estilo Dreamer, la información se comprime en un estado latente que evoluciona con el tiempo. Este estado se utiliza luego como contexto de la política para determinar la geometría actual del objeto, así como su estado de contacto y de movimiento.
Lo que el modelo aprende no es solo "con qué se está encontrando ahora", sino que también debe combinar lo que ocurrió en el pasado para inferir "por qué ahora se ha convertido en esto".
El significado de este paso esAvanza un paso más allá del "control con participación táctil": el robot empieza a intentar formar una representación interna del estado de contacto.。
Volvamos a la pregunta inicial: ¿por qué Sharpa ha sido siempre tan "obstinado" con la percepción táctil, colocándola en el núcleo de la manipulación diestra?
El sensor proporciona señales de contacto en bruto, el sistema de control se encarga de reaccionar en escalas de milisegundos a cientos de milisegundos, y el modelo del mundo intenta organizar estos eventos instantáneos en "estados físicos" que el robot pueda aprovechar de manera continua:
Esto es precisamente el núcleo de la manipulación diestra, lo que la distingue de la mera ejecución de trayectorias de un brazo robótico común.
El AE01 completa, por su parte, la última pieza del rompecabezas en el lado de los datos.
La teleoperación tradicional registra principalmente las trayectorias de movimiento de las personas, pero difícilmente conserva de manera completa la experiencia física del proceso de contacto.
AE01 capta el movimiento natural de la mano mediante codificadores y, al mismo tiempo, transmite al operador el estado táctil del lado del robot, formando una interfaz bidireccional: los movimientos de la persona entran en el robot, y el estado tras el contacto del robot con los objetos influye a su vez en la siguiente acción de la persona.
De este modo, los datos dejados por una operación manual ya no se limitan a "dónde se movió la mano", sino que incluyen también el momento del contacto, los cambios de fuerza, el estado de deslizamiento y los movimientos correctivos posteriores. El control preciso, la adquisición táctil sincronizada y la ausencia de calibración reducen la barrera del mapeo humano-máquina y de la sincronización de datos multimodales.
Así que los nuevos avances presentados en IROS se pueden resumir, en realidad, en una sola frase:
Sharpa intenta resolver un problema muy real de la inteligencia encarnada: los datos de manipulación de alta calidad son difíciles de obtener, y precisamente los datos con mayor valor ocurren en los instantes en que el contacto es más complejo.。
Desde este punto de vista, ninguna parte de la capacidad de "pila completa" de manipulación diestra de Sharpa sobra: el cuerpo se encarga de llevar al robot a espacios de trabajo reales, la mano diestra se encarga de gestionar el contacto de grano fino entre personas y objetos, y la puerta de entrada de datos conserva tanto la experiencia operativa humana como la retroalimentación física del robot.
Finalmente, el modelo reutiliza esta información para convertir cada operación en capacidad para la siguiente ronda.
El jugador estrella de la manipulación diestra
La mano es, ante todo, el órgano más fiable del ser humano para realizar todo tipo de tareas complejas.
También es el medio más directo para que los robots interactúen físicamente de forma fina con el mundo real.
Por lo tanto, no es de extrañar que desde el W01 Sharpa se haya centrado de forma prolongada en alta libertad de grados, tacto y manipulación fina.
La demo del CES a principios de año causó sensación,Sharpa mostró a la industria una live demo de manipulación diestra de nivel máximo.
Pero una vez que la mano diestra alcanza cierto nivel, el problema naturalmente se extiende hacia ambos extremos del cuerpo: ¿qué soporte físico necesita esta mano para entrar en diversos entornos de trabajo? ¿Y qué datos se necesitan para que el robot pueda extrapolar y lograr la 'generalización comercial' en diferentes escenarios de tareas?
Entre los problemas están la precisión de control en movimientos de alta velocidad, la percepción de contacto real, la manipulación de herramientas humanas, así como la capacidad de manejar objetos complejos como láminas, objetos flexibles y líquidos, además de hacer que el cuerpo, la muñeca, los dedos y la retroalimentación táctil trabajen de forma coordinada en tareas continuas.
La oportunidad de encadenar realmente estas capacidades solo aparece en tareas reales.
A finales del mes 8 de este año,abrió en la calle Wujiang de Shanghái el restaurante de robots Blizzard, fruto de la colaboración entre Sharpa y DQ, sin diseñar un puesto de trabajo especial para el robot, sino reutilizando directamente los equipos, ingredientes y procesos de elaboración originales de DQ, con el robot completando 55 pasos continuos que van desde abrir la puerta del armario, colocar el aro del vaso, recoger el hielo, espolvorear ingredientes, mezclar hasta servir en el vaso:
Visto individualmente, ningún paso resulta remotamente 'de ciencia ficción', pero lo difícil es que ocurren de forma continua y los errores dejados por un paso se transmiten al siguiente.
La mayor dificultad es completar de forma continua una cadena de operaciones altamente interrelacionadas en un entorno sin modificaciones.
Y esto corresponde precisamente a la cadena tecnológica que Sharpa construyó previamente.
Las tareas de largo alcance son desglosadas y gestionadas por el modelo; el System 1 se encarga de los movimientos concretos; al entrar en contacto, el System 0 utiliza el tacto y la retroalimentación de fuerza para corregir continuamente; y el modelo mundial combina visión, tacto, retroalimentación de fuerza y estado propio para determinar en qué punto está la tarea y qué debe hacerse a continuación.
Y este es tambiénel segundo récord de manipulación diestra que Sharpa establece este año。
Desde el hardware de la mano diestra, pasando por el control táctil, hasta el modelo mundial y las tareas en tiendas reales, Sharpa está expandiendo la manipulación diestra gradualmente de una capacidad de efector final a un conjunto completo de capacidades de sistema.
En él, la visión resuelve 'qué se ve', mientras que el tacto complementa 'qué se tocó, con cuánta fuerza y si hubo deslizamiento', sustentando juntos el ajuste de los movimientos en tareas continuas como agarrar, insertar, girar y apretar.
En cuanto a la arquitectura tecnológica, el tacto existe como una capa de cálculo relativamente independiente, y los modelos superiores pueden ser sustituidos, lo que significa que la capacidad táctil puede acumularse de forma continua sin necesidad de estar ligada a una generación determinada de modelos; con ello, el robot obtiene un conjunto de información de contacto que puede participar de manera sostenida en la percepción y el control.
El otro extremo son los datos.
El cofundador de Sharpa,Li Yifan, le dijo en su día a QbitAI: 'Los datos comprados no construyen ventaja'.
Esta frase es más fácil de entender hoy en el contexto de la cartera de productos: en comparación con un modelo concreto o un método concreto de recolección de datos,a Sharpa le importa que el robot genere continuamente en tareas reales experiencias de 'acción—contacto—retroalimentación—corrección', y luego devolver esas experiencias al modelo。
Se trata de una ruta que parte de la tarea y, a la inversa, define el hardware y el modelo.
Es también la 'generalización comercial' que el equipo fundador de Sharpa, forjado en la producción a escala de la conducción autónoma, sigue enfatizando en la inteligencia encarnada: si puede seguir funcionando tras cambiar de escenario o de categoría de producto, y si la mejora de eficiencia puede cubrir los costos de adquisición, despliegue, mantenimiento y datos.
Desde esta perspectiva, el cambio más digno de atención de Sharpa en esta IROS quizá tampoco sea 'haber presentado tres productos más'.
Antes, la mano diestra W01 resolvía 'si el robot puede agarrar y manipular bien las cosas'; con el aterrizaje real de la D01, la W02, la AE01 y DQ, lo que Sharpa sigue preguntando y explorando es un nivel más esencial:
Para diferentes escenarios de tareas, se destilan requisitos generales de hardware y tecnología, ofreciendo un conjunto de capacidades operativas generales capaz de asumir puestos de trabajo reales, realizar entregas continuas, acumular datos y mejorar de forma iterativa.