Este podría ser el giro más imaginativo entre los jugadores chinos de coches inteligentes:
Esta pequeña lámpara de escritorio es mundialmente famosa: es el logotipo de la empresa de efectos especiales de HollywoodPixarque está detrás de Toy Story. En los últimos 30 premios Óscar a los mejores efectos visuales, 24 películas han utilizado la tecnología de efectos de Pixar.
Por supuesto, Pixar también es conocida por su fundador:Steve Jobsfue su proyecto emprendedor después de ser expulsado de Apple en 1985.
Hace poco, Pixar publicó oficialmente su último tutorial de renderizado 3D:
enseña a los creadores cómo procesar datos reales de 3D Gaussian Splatting con las herramientas oficiales de Pixar. En la descripción, Pixar agradeció especialmente a una empresa china que proporcionó la solución de escaneo de escenas 3D Kosmo.
Y esa empresa resulta ser, nada menos que un nombre ineludible en el sector del coche inteligente:Hesai Technologyel líder de los LiDAR para vehículos y gran impulsor de la popularidad del "cinturón de seguridad" de los coches inteligentes.
Esto, esto, esto... por un lado una gran empresa automovilística tradicional, dura y rugiente; por otro, la industria del entretenimiento de Hollywood, relajada, cool y bulliciosa. ¿No es demasiado imaginativa esta diversificación de negocio de Hesai?
¿Cómo logró Hesai, una empresa de LiDAR, entrar en Hollywood?
RenderManes la tecnología central de renderizado de Pixar; la historia de su algoritmo es incluso anterior a la de la propia Pixar. Steve Jobs vio entonces el potencial de la computación gráfica como forma de arte y apostó fuerte por ella.
Hoy en día, la arquitectura XPU acelerada por GPU ya se ha implementado, y el soporte para3D Gaussian Splatting (3DGS), este nuevo formato de datos tridimensionales, ya se ha incorporado a RenderMan,y lo que ayuda a RenderMan a "capturar" el mundo real es el Kosmo de Hesai.：
Así describe Pixar el valor de Kosmo:
Los efectos especiales cinematográficos requieren trabajo de edición a nivel de píxel; cuantos más datos e información haya, más finos serán los ajustes posibles. Kosmo permite al modelador entrar en cualquier lugar,capturar cada uno de sus elementos espaciales, su geometría precisa y su iluminación real.。
Por ejemplo, la lámpara (Pixar Lamp) y la pelota (Pixar Ball) frente al edificio Steve Jobs de la sede de Pixar: con Kosmo, capturar el espacio solo toma 10-20 minutos, y los datos 3DGS de alta calidad obtenidos entran directamente al entorno de trabajo en formato USD:
A continuación, los ingenieros de Pixar pueden, en el espacio del modelo directamente generado, mover, escalar, ajustar la transparencia, pintar con estilización... convirtiendo toda la plaza en un cuadro de pinceladas fluidas:
Real → 3DGS → renderizado. Los datos que aporta Hesai indican que, para un espacio de unos 100 metros cuadrados, la captura manual con Kosmo requiere aproximadamente 15-20 minutos:
△ La operación es muy sencilla: los objetos espaciales ya escaneados aparecen en la pantalla sin cobertura de malla, y las partes restantes con cobertura son las pendientes de escanear.
Así que para la industria del cine y el entretenimiento, el primer valor de Kosmo es extraer rápidamente la información del entorno de escenas reales, con un 100% de restauración fiel.
Por cierto,la exitosa obra china 3A fenomenal «Black Myth: Wukong» (黑神话·悟空): su estudio de desarrollo, Game Science, en su día utilizó los LiDAR de Hesai para capturar modelos de diversos edificios antiguos, y esto también fue uno de los factores que impulsaron el nacimiento de Kosmo.
El modelado rápido es solo una parte; lo más reconocido de Kosmo essu capacidad de exportar directamente en formato 3D Gaussian Splatting, de modo que los datos capturados no necesitan pasar por ningún procesamiento complejo y pueden editarse y ajustarse directamente con diversas herramientas, tanto de IA como manuales。
. Por eso, la esencia de Kosmo es en realidadun motor de datos del mundo real en 3 dimensiones, con múltiples sensores diferentes altamente integrados y perfectamente calibrados, listo para usar nada más recibirlo，, que exporta directamente modelos digitales 3D listos para el entrenamiento de modelos, manipulables y editables, y sin distorsión en las relaciones espaciales, los colores ni las formas。
. Por lo tanto,entrar en la industria cinematográfica de Hollywood es, en esencia, solo un «huevo» puesto en el camino mientras Hesai escala el Everest de la IA física。
. Elescenario de aplicación más «primigenio» de Kosmo es ser el canal de entrada de datos más importante para los modelos base de la inteligencia corporeizada y la IA física。
. Los materiales, los bordes de los objetos y los colores del entorno espacial real se reproducen con calidad de cine:
incluso los cuadros colgados en la pared se reproducen sin pérdidas, con los bloques de color, los textos y las relaciones de posición sin ninguna desviación:
Además del dispositivo de mano, el modelo en la nube detrás de Kosmo puede realizar directamente segmentación semántica 3D, separando los distintos elementos de una escena:
¿Por qué hacer esto? La respuesta es:
Losactivos de datos que Kosmo termina de modelar pueden utilizarse directamente para construir tareas de entrenamiento de robots—esto es, en realidad, elmodelo del mundoque se persigue como objetivo; la diferencia está en quelos datos de Kosmo provienen del mundo real, con leyes físicas y causalidad más precisas, y el comportamiento de los modelos resulta más fácil de explicar y atribuir。
. Además de los objetos objetivo y los colores y materiales, Kosmo también proporciona por sí mismolas relaciones espaciales, un elemento aún más clave:
Para que un robot pase de la percepción a la cognición, planifique activamente rutas y estrategias, las relaciones espaciales son un factor de decisión indispensable y unos datos de entrenamiento del modelo esenciales.
Pero esta entrada de datos de "producción integrada de fábrica" y "fusión temprana" simplemente no existía antes en todo el sector de la inteligencia incorporada y la IA física.
Los actores de la inteligencia incorporada, incluidos otros equipos con necesidades de captura cartográfica, tienen en realidad una fuerte demanda, y lo que necesitan va mucho más allá de los datos del lidar.
Solo que durante mucho tiempo, la forma de proceder de todos consistía en comprar por separado distintos componentes de sensores y fabricarse a mano su propio equipo de captura de datos: no estandarizado, poco fiable, caro e imposible de iterar.
Pero todos estos puntos de dolor son la zona de confort de Hesai, el "número uno" del lidar: equipos optoelectrónicos de precisión, estándares automotrices y producción en serie de ingeniería.
Por eso Kosmo por supuesto integra un lidar, pero va mucho más allá de una extensión del negocio de lidar automotriz de Hesai, y tampoco es una exhibición tecnológica para vender más lidar (el "número uno" del lidar ya envía varios millones de unidades al año, algo ampliamente reconocido), sino queresuelve un problema de "reinventar la rueda" que atormenta a todos en el ámbito de la inteligencia incorporada y la IA física:
el primer terminal de datos especializado del sector "ábrelo y escanea, escanea y úsalo"。
¿Qué tiene de diferente el Kosmo de Hesai?
Kosmo se compone de dos extremos: el Kosmo One, que el usuario tiene en la mano, es el extremo de captura, y el Kosmo World en la nube es el extremo de reconstrucción.
En el interior del Kosmo One hay cuatro tipos de sensores: un lidar personalizado, un sistema de imagen ultralta definición de hasta 8K de resolución, un sensor CMOS de gran formato de una pulgada y una IMU de alta precisión.
Las señales que emiten estos cuatro tipos de sensores son intrínsecamente distintas: la nube de puntos es un conjunto disperso de coordenadas tridimensionales, la imagen es una matriz bidimensional de píxeles, la IMU son datos de series temporales de alta frecuencia, etc.
La llamada fusión temprana significa que, antes de que estas señales entren en cualquier algoritmo de reconstrucción, se alinean primero a nivel de hardware.
En dos dimensiones: temporalmente, Kosmo logra una captura sincronizada a nivel de microsegundos; los cuatro tipos de sensores comparten la misma fuente de reloj y el mismo mecanismo de disparo, y cada fotograma de datos queda estrictamente vinculado en su marca de tiempo.
Espacialmente, la calibración de parámetros extrínsecos entre el lidar y la cámara determina si cada punto tridimensional de la nube de puntos puede proyectarse con precisión sobre el píxel correspondiente de la imagen.
El Kosmo One integra los tres en un mismo dispositivo; los parámetros extrínsecos se calibran de fábrica y la IMU ayuda a mantenerlos durante el uso. La profundidad medida por el lidar puede corresponderse punto a punto directamente con los píxeles de la imagen, sin necesidad de que el software adivine la posición relativa entre sensores mediante la coincidencia de características.
El resultado de la fusión temprana es un conjunto de fotogramas de datos multimodales alineados en el espacio y el tiempo.
En cada fotograma, la nube de puntos del lidar, los píxeles RGB de la imagen y la trayectoria de pose de la IMU quedan vinculados a la misma marca de tiempo, describiendo conjuntamente una observación espacial completa del dispositivo en ese instante.
La fusión temprana a nivel de dispositivo tiene, en realidad, el mismo origen que la fusión temprana a nivel de píxel que Hesai realizó en su Picasa SPAD-SoC, es decir, integrando filtros RGB sobre los píxeles SPAD, de modo que un solo píxel realiza simultáneamente el conteo de fotones y la medición de tiempo de vuelo (ToF), generando directamente nubes de puntos en color alineadas en el espacio y el tiempo.
El Kosmo One extiende este mismo enfoque del chip al sistema multisensor.
Después, los fotogramas multimodales se suben a la nube y entran en el Kosmo Spatial Core, abreviado KSC, que los convierte en una representación de 3D Gaussian Splatting.
El 3DGS es un método de representación de escenas tridimensionales presentado en el SIGGRAPH de 2023. Construye la escena con un conjunto de distribuciones gaussianas tridimensionales, cada una con su propia posición, forma, opacidad y color que varía según el ángulo de visión.
Durante el entrenamiento, partiendo de la nube de puntos dispersa generada por la calibración de la cámara, se ajustan estas gaussianas mediante la diferencia entre las imágenes renderizadas y las imágenes reales, obteniendo al final una masa de puntos tridimensionales capaz de renderizar en tiempo real imágenes de calidad fotográfica.
Pero el 3DGS original tiene una carencia: depende solo de las imágenes, y las imágenes monoculares no pueden determinar la escala real de la escena; zonas sin textura, como paredes blancas o cristales, se calculan fácilmente de forma errónea, y la distribución espacial de las gaussianas carece de restricciones físicas.
El mundo académico se ha concentrado en resolver este problema durante los últimos dos años, y la dirección es introducir la profundidad absoluta del lidar en la inicialización y la optimización del 3DGS.
Volviendo a Kosmo, todo el flujo queda así:
El Kosmo One realiza la captura sincronizada a nivel de microsegundos, el ISP procesa la consistencia de color entre múltiples puntos de vista, y los datos se suben al KSC.
El KSC utiliza después la nube de puntos del lidar para inicializar las posiciones de las gaussianas, emplea la profundidad como restricción geométrica en la optimización, y la información RGB se inyecta en los parámetros de color de las gaussianas mediante la pérdida fotométrica de la rasterización diferenciable.
Las tres señales colaboran dentro del mismo marco de optimización, generando finalmente una representación 3DGS en la que posición, forma y color convergen simultáneamente.
Al mismo tiempo, sobre esta base el KSC exporta sincrónicamente dos tipos de datos homólogos, mesh y depth, con un sistema de coordenadas espaciales unificado, sin necesidad de registro entre formatos.
Finalmente, una sola reconstrucción exporta sincrónicamente tres formas de datos directamente utilizables para el entrenamiento de robots: 3DGS, mesh y depth.
Por último, el KSC también incorpora capacidad de completado mediante AIGC, que rellena automáticamente las zonas ciegas no escaneadas e identifica materiales, y mediante la segmentación semántica por IA identifica y etiqueta de forma independiente los objetos de la escena, de modo que el modelo tridimensional estático pueda convertirse directamente en datos estructurados entrenables por la IA.
Los mejores jugadores del automóvil inteligente no pueden quedarse en el automóvil inteligente
Las características de Kosmo, en realidad, han superado con creces los automóviles inteligentes, e incluso los escenarios de aplicación de la inteligencia encarnada.
Cine, videojuegos, cartografía, robótica e incluso el sector inmobiliario también necesitan las capacidades de Kosmo — visitas VR a inmuebles。
△ Dylan, responsable creativo de Pixar, y Li Yifan, CEO de Hesai
En una frase: si los datos son el "petróleo", Kosmo es en realidad la integración de todo el proceso de extracción y refinación de petróleo como infraestructura, permitiendo que cada "conductor" (modelos de IA, capas de aplicación, demandantes de datos) repost y se marche, listo para usar nada más sacarlo de la caja.
Esta es la amplitud de la aplicación, y en cuanto a la "profundidad", Hesai ha inyectado en Kosmo una reflexión más profunda.
Desde la conducción autónoma hasta la inteligencia encarnada, el debate entre simulación de datos y captura de datos reales no ha dejado de sonar, y con la popularización del concepto de modelo mundial este año, esta "disciplina prominente" parece que va a terminar:
si ya existen modelos mundiales, ¿para qué gastar grandes esfuerzos en la captura de datos reales？
Visto desde esta lógica, Kosmo parece ir "contra la ola de la AI".
Pero la comparación entre GPT-6 Astra y la reconstrucción de datos de escenas de Kosmo ya lo dice todo:
Al menos los "modelos mundiales" de la etapa actual no pueden responder una pregunta así:
Cuanto más fuerte es la AI, más problemas pueden razonar y resolver los modelos mundiales/robots, es decir, más escenarios se desbloquean para los terminales de AI física, pero al mismo tiempo implica exigencias mayores de generalización.
¿No hace eso aún más necesario tener datos frescos del mundo real como base?
Productos de captura de datos espaciales como Kosmo podrían existir durante mucho tiempo.
Es decir, Kosmo no es reemplazado cuando la AI se hace más fuerte, sino que cuanto más fuerte es la AI, más útil resulta — va "a favor de la AI".
Volviendo a la crítica, Kosmo es en sí mismo el kick start de un modelo mundial;
En cuanto ael debate esencial sobre los modelos mundiales: ¿la AI realmente "adivina el mundo" o lo comprende de verdad? El mundo académico y la industria discuten sin descansoperoHesai, a través de Kosmo, ha señalado un problema más fundamental que los jugadores tradicionales de grandes modelos siempre han evitado e ignorado：
los modelos, especialmente en la fase de entrenamientosi la fuente de datos puede alinearse con el mundo físico real¿no se resolverían muchos problemas con facilidad? ¿No serían innecesarios muchos debates?
Al menos, solo aclarando el origen de las capacidades del modelo y la cadena de atribución explicativa, tiene sentido discutir la cuestión esencial de los modelos mundiales sin que sea un "espejismo".
Hesai, este proveedor de LiDAR salido del mundo del automóvil, merece sin duda ser reevaluado en profundidad.
Primero, las capacidades forjadas en la pista del automóvil inteligente —fabricación de equipos de precisión, diseño de chips, producción industrial a gran escala, etc.— se han convertido en la base de capacidades de la era de la AI física —además de Kosmo, también los módulos de accionamiento robótico de desarrollo propio, pequeños, potentes y fiables:
El papel de Hesai también ha pasado de ser un simple proveedor de LiDAR al servicio de los fabricantes de automóviles a convertirse en proveedor de infraestructura de AI física, por ejemplo,los principales ingresos de Kosmo podrían no ser la venta de hardware, sino la venta de tokens consumidos por el cerebro de Kosmo al producir activos de datos。
En segundo lugar, el equipo fundador de Hesai ya no cuenta únicamente con Hesai como empresa de "infraestructura", sino también con Sharpa, una empresa de pila completa de robótica:
Sharpa descubre problemas en escenarios reales de despliegue y retroalimenta necesidades, Hesai itera y actualiza constantemente, ofreciendo mejores soluciones a todo el sector de la inteligencia encarnada y, por supuesto, también obtiene ingresos directos de Sharpa — su propio pequeño circuito cerrado impulsa el gran circuito cerrado de la industria.
Por último, Hesai hace tiempo que superó los límites de una simple empresa de hardware.
Kosmo es en sí mismo una solución integral de hardware y modelos, pero detrás del modelo hay algo que ha recibido poca atención: una plataforma de activos de datos, donde los datos escaneados por los usuarios, los datos de prueba oficiales de la propia Hesai y otros pueden publicarse como código abierto:
El CEO Li Yifan "reveló" sin querer su ambición: Hesai ha diseñado Kosmo deliberadamente con un "aire de Apple" — I+D, diseño y fabricación de hardware de primera línea para sostener un ecosistema de plataforma que cubre todos los sectores.
Cuanto más avanza la AI física, mayor será la demanda de datos frescos del mundo real.
Hesaie ha emergido del sector automotriz y ya se ha situado en la entrada de datos de la IA física.
A continuación, deberá demostrar cuán ancho y profundo puede llegar a ser el panorama comercial de este camino que va del sensor a los activos de datos.
Es seguro que el destino final de los jugadores de vanguardia en automóviles inteligentes no se detendrá en el automóvil inteligente.