C'est peut-être le « virage » le plus fantaisiste jamais vu parmi les acteurs chinois de la voiture intelligente :
Cette petite lampe de bureau est connue dans le monde entier : c'est l'emblème de Pixar, la société d'effets spéciaux hollywoodiennePixarderrière « Toy Story » ; sur les 30 dernières cérémonies des Oscars des meilleurs effets visuels, 24 films ont utilisé la technologie d'effets de Pixar.
Bien sûr, Pixar est aussi célèbre grâce à son fondateur —Steve Jobs, et c'était son projet entrepreneurial après avoir été « mis à la porte » d'Apple en 1985.
Il y a peu, Pixar a mis en ligne son tout nouveau tutoriel de rendu 3D :
il apprend aux créateurs à utiliser les outils officiels de Pixar pour traiter des données réelles de 3D Gaussian Splatting, et dans sa description, Pixar a spécialement remercié une société chinoise qui fournit la solution de numérisation de scènes 3D Kosmo.
Or cette société s'avère être un nom incontournable du secteur des voitures intelligentes :Hesai Technology— le « numéro un » du LiDAR embarqué et le fervent promoteur de la diffusion de la « ceinture de sécurité » des voitures intelligentes.
Ça, mais c'est que d'un côté il y a les grands constructeurs automobiles traditionnels, durs et tonitruants, et de l'autre l'industrie du divertissement hollywoodienne, décontractée, cool et animée — ce positionnement de Hesai est-il vraiment d'une fantaisie totale ?
Comment Hesai, société de LiDAR, est-elle entrée à Hollywood ?
RenderManest la technologie de rendu centrale de Pixar, dont l'histoire algorithmique est antérieure à la société Pixar elle-même ; Steve Jobs, à l'époque, avait vu le potentiel de l'infographie comme forme d'art et avait parié gros.
Aujourd'hui, l'architecture XPU accélérée par GPU s'est concrétisée, et la prise en charge dela 3D Gaussian Splatting (3DGS), ce tout nouveau format de données tridimensionnelles, a été ajoutée à RenderMan,et c'est Kosmo de Hesai qui aide RenderMan à « capturer » le monde réel.：
Pixar décrit ainsi la valeur de Kosmo :
Les effets spéciaux cinématographiques nécessitent un travail d'édition au niveau du pixel ; plus les données et les informations sont riches, plus les ajustements possibles sont fins. Kosmo permet au modeleur d'entrer dans n'importe quel lieu,de capturer chaque élément spatial, chaque structure géométrique précise et chaque éclairage réel.。
Par exemple, la lampe (Pixar Lamp) et le ballon (Pixar Ball) devant le bâtiment Steve Jobs du siège de Pixar : avec Kosmo, la capture de l'espace ne prend que 10 à 20 minutes, et les données 3DGS de haute qualité obtenues entrent directement dans l'environnement de travail au format USD :
Ensuite, les ingénieurs de Pixar peuvent, dans l'espace du modèle directement généré, déplacer, redimensionner, ajuster la transparence, peindre en style stylisé… transformant toute la place en un tableau aux coups de pinceau fluides :
Réel → 3DGS → rendu. Selon les données fournies par Hesai, pour un espace d'environ 100 m² en général, la collecte à la main avec Kosmo prend environ 15 à 20 min :
△ L'opération est très simple : les objets spatiaux numérisés n'ont pas de maillage sur l'écran, les parties encore couvertes étant celles restant à numériser.
Donc, pour l'industrie du cinéma et du divertissement, la première valeur de Kosmo est d'extraire rapidement les informations environnementales de scènes réelles, avec une restitution 100 % fidèle.
Pour ajouter une remarque,le blockbuster national phénoménal de catégorie 3A « Black Myth : Wukong » — le studio de développement, Game Science, avait à l'époque utilisé les LiDAR de Hesai pour capturer les modèles de divers bâtiments anciens, et c'est également l'un des facteurs moteurs de la naissance de Kosmo.
La modélisation rapide n'en est qu'un aspect ; ce qui est plus reconnu chez Kosmo, c'estla capacité de produire directement au format 3D Gaussian Splatting : les données capturées n'ont besoin d'aucun traitement complexe supplémentaire et peuvent être directement éditées et ajustées avec divers outils, qu'ils soient basés sur l'IA ou manuels。
Ainsi, l'essence de Kosmo est en réalitéun moteur de données du monde 3D réel, avec une intégration poussée de multiples capteurs différents, un étalonnage parfait, prêt à l'emploi，produisant directement des modèles numériques 3D exploitables pour l'entraînement de modèles, manipulables et éditables, et dont les relations spatiales ainsi que les couleurs et formes ne subissent aucune distorsion。
C'est pourquoi,pénétrer l'industrie cinématographique hollywoodienne n'est, en substance, qu'un « œuf » pondu en chemin dans l'ascension par Hesai de l'Everest de l'IA physique。
lescénario d'application encore plus « fondamental » de Kosmo est de servir de canal d'entrée de données le plus important pour les modèles fondamentaux de l'intelligence embarquée et de l'IA physique。
Les matériaux de l'environnement spatial réel, les arêtes des objets, les couleurs, tout est restitué au niveau cinématographique :
Même les tableaux accrochés aux murs peuvent être reproduits sans perte, avec des aplats de couleur, du texte et des relations de position sans aucun écart :
Au-delà des appareils portatifs, le modèle cloud derrière Kosmo peut effectuer directement une segmentation sémantique 3D, décomposant les différents éléments d'une scène :
Pourquoi procéder ainsi ? La réponse est :
Lesactifs de données produits par la modélisation de Kosmo peuvent être directement utilisés pour construire des tâches d'entraînement pour les robots—— c'est en réalité l'objectif recherché par lesmodèles de monde, la différence étant queles données de Kosmo proviennent du monde réel, avec des lois physiques et des causalités plus précises, et que le comportement des modèles est plus facile à expliquer et à attribuer。
Outre les objets cibles, les matériaux et les couleurs, Kosmo fournit égalementles relations spatiales, un élément encore plus crucial :
Pour qu'un robot passe de la perception à la cognition, planifie activement ses itinéraires et ses stratégies, les relations spatiales sont un facteur de décision indispensable et des données d'entraînement essentielles pour les modèles.
Or une telle porte d'entrée de données avec « production en série montée en usine » et « fusion amont » n'existait pas auparavant dans toute la filière de l'intelligence incarnée et de l'IA physique.
Les acteurs de l'intelligence incarnée, y compris les autres équipes ayant des besoins de cartographie et de collecte, ont en réalité un besoin fort, et leurs besoins dépassent largement les seules données de lidar.
Mais pendant longtemps, la pratique consistait pour chacun à acheter différents composants de capteurs et à fabriquer soi-même son propre dispositif de collecte de données — non standard, peu fiable, coûteux et impossible à itérer.
Or tous ces points de douleur relèvent précisément du terrain de confort de Hesai, le « numéro un » du lidar : équipements optoélectroniques de précision, normes automobiles, production industrielle.
Ainsi, Kosmo intègre bien sûr un lidar, mais c'est bien plus qu'une extension de l'activité de lidar automobile de Hesai, et ce n'est pas non plus un exercice de style destiné à vendre davantage de lidars (avec des millions d'unités expédiées par an, le « numéro un » du lidar est déjà largement reconnu), mais plutôtune solution au problème de « réinventer la roue » qui tourmente tout le monde dans le domaine de l'intelligence incarnée et de l'IA physique —
le premier terminal de données spécialisé du secteur avec une formule « allumez et scannez, scannez et utilisez ».。
Qu'est-ce qui distingue le Kosmo de Hesai ?
Kosmo se compose de deux extrémités : le Kosmo One, entre les mains de l'utilisateur, constitue le côté collecte, et le Kosmo World, dans le cloud, constitue le côté reconstruction.
Kosmo One abrite quatre types de capteurs : un lidar sur mesure, un système d'imagerie ultra haute définition allant jusqu'à la résolution 8K, un capteur CMOS grand format d'un pouce et une IMU haute précision.
Les signaux émis par ces quatre types de capteurs sont intrinsèquement différents : le nuage de points est un ensemble de coordonnées tridimensionnelles éparses, l'image est une matrice bidimensionnelle de pixels, l'IMU produit des données temporelles à haute fréquence, etc.
La fusion amont consiste à aligner ces signaux au niveau matériel avant qu'ils n'entrent dans un quelconque algorithme de reconstruction.
Selon deux dimensions — dans le temps, Kosmo réalise une acquisition synchronisée à l'échelle de la microseconde : les quatre types de capteurs partagent la même source d'horloge et le même mécanisme de déclenchement, et chaque image de données est strictement liée par horodatage.
Dans l'espace, le calibrage extrinsèque entre le lidar et la caméra détermine si chaque point tridimensionnel du nuage de points peut être projeté avec précision sur le pixel correspondant de l'image.
Kosmo One intègre les trois dans un même appareil : les paramètres extrinsèques sont calibrés en usine et maintenus en cours d'utilisation avec l'aide de l'IMU. La profondeur mesurée par le lidar peut être directement associée point par point aux pixels de l'image, sans avoir besoin de deviner en software la position relative des capteurs par appariement de caractéristiques.
Le résultat de la fusion amont est un ensemble d'images de données multimodales alignées dans le temps et l'espace.
Dans chaque image, le nuage de points du lidar, les pixels RGB de l'image et la trajectoire de pose de l'IMU sont liés au même horodatage, décrivant ensemble une observation spatiale complète de l'appareil à cet instant précis.
La fusion amont au niveau de l'appareil provient en réalité de la même source que la fusion amont au niveau du pixel réalisée par Hesai sur son Picasso SPAD-SoC : un filtre RGB est intégré au-dessus des pixels SPAD, chaque pixel effectuant simultanément le comptage de photons et la chronométrie ToF, produisant directement un nuage de points coloré aligné dans le temps et l'espace.
Kosmo One transpose cette même logique de la puce à un système multicapteurs.
Ensuite, les images multimodales sont téléversées vers le cloud et entrent dans le Kosmo Spatial Core, en abrégé KSC, où elles sont converties en une représentation par 3D Gaussian Splatting.
La 3DGS est une méthode de représentation de scènes tridimensionnelles présentée au SIGGRAPH 2023. Elle construit la scène à partir d'un ensemble de distributions gaussiennes tridimensionnelles, chaque gaussienne possédant sa propre position, sa forme, son opacité et une couleur variant selon le point de vue.
Lors de l'entraînement, on part du nuage de points épars issu du calibrage des caméras, puis on ajuste ces gaussiennes en fonction des écarts entre les images rendues et les images réelles, pour obtenir finalement un ensemble de points tridimensionnels capables de restituer en temps réel des images photoréalistes.
Mais la 3DGS originale a un point faible : elle ne s'appuie que sur les images, et les images monoculaires ne permettent pas de déterminer l'échelle réelle de la scène ; les zones sans texture, comme les murs blancs ou le verre, sont facilement mal calculées, et la distribution spatiale des gaussiennes manque de contraintes physiques.
Depuis deux ans, le milieu académique se concentre sur ce problème, avec une direction claire : injecter la profondeur absolue du lidar dans l'initialisation et l'optimisation de la 3DGS.
En revenant au Kosmo, l'ensemble du flux devient le suivant :
Kosmo One réalise l'acquisition synchronisée à l'échelle de la microseconde, l'ISP traite la cohérence des couleurs multi-vues, et les données sont téléversées vers le KSC.
Le KSC utilise ensuite le nuage de points du lidar pour initialiser la position des gaussiennes, la profondeur comme contrainte géométrique participant à l'optimisation, et les informations RGB sont injectées dans les paramètres de couleur des gaussiennes via une perte photométrique en rastérisation différentiable.
Les trois flux de signaux coopèrent dans un même cadre d'optimisation, produisant finalement une représentation 3DGS dont la position, la forme et la couleur convergent simultanément.
Parallèlement, le KSC exporte également sur cette base deux types de données homologues, mesh et depth, avec un système de coordonnées spatiales unifié, sans nécessiter de recalage entre formats.
Au final, une seule reconstruction produit simultanément trois formes de données directement utilisables pour l'entraînement des robots : 3DGS, mesh et depth.
Enfin, le KSC est également doté d'une capacité de complétion par AIGC, qui effectue le remplissage automatique et la reconnaissance des matériaux dans les zones aveugles non scannées, et identifie et annote indépendamment les objets de la scène grâce à une segmentation sémantique par IA, permettant de convertir directement le modèle tridimensionnel statique en données structurées exploitables par l'entraînement de l'IA.
Les meilleurs acteurs de la voiture intelligente ne peuvent pas s'arrêter à la voiture intelligente
Les caractéristiques de Kosmo dépassent en réalité de loin celles des voitures intelligentes, voire même des scénarios d'application de l'intelligence embarquée.
Le cinéma, les jeux vidéo, la cartographie, la robotique, et même l'immobilier ont aussi besoin des capacités de Kosmo — les visites immobilières en VR。
△ Dylan, responsable créatif chez Pixar, et Li Yifan, PDG de Hesai
En une phrase : si les données sont le « pétrole », Kosmo est en réalité l'intégration complète de la chaîne d'infrastructure d'extraction et de raffinage du pétrole, permettant à chaque « automobiliste » (modèles d'IA, couche applicative, demandeurs de données) de faire le plein et de repartir immédiatement, prêt à l'emploi.
C'est l'étendue des applications ; et en matière de « profondeur », Hesai a injecté une réflexion plus profonde dans Kosmo.
De la conduite autonome à l'intelligence incarnée, le débat sur l'opposition entre simulation de données et collecte réelle n'a jamais cessé, et depuis que le concept de modèle du monde est devenu populaire cette année, cette « discipline établie » semble sur le point d'être révolue :
S'il existe déjà des modèles du monde, pourquoi se donner tant de mal pour la collecte de données réelles ?？
Vu sous cet angle, Kosmo semble aller « à contre-courant de la vague de l'IA ».
Mais la comparaison entre les données de scènes reconstituées par GPT-6 Astra et Kosmo montre déjà le problème :
Au stade actuel du moins, les « modèles du monde » ne peuvent pas répondre à une telle question :
Plus l'IA est forte, plus les modèles du monde/robots peuvent raisonner et résoudre de problèmes, c'est-à-dire plus les terminaux d'IA physique débloquent de scénarios, mais cela signifie aussi des exigences de généralisation plus élevées.
N'est-ce pas là d'autant plus besoin de données fraîches du monde réel comme fondation ?
Les produits de collecte de données spatiales comme Kosmo pourraient exister durablement.
Autrement dit, Kosmo n'est pas destiné à être remplacé quand l'IA devient plus forte ; plus l'IA est forte, plus il est utile — il est « dans le sens de l'IA ».
Pour revenir aux critiques : Kosmo est lui-même le coup d'envoi du modèle du monde ;
Quant àla querelle de fond sur les modèles du monde — l'IA fait-elle vraiment des « conjectures sur le monde » ou le comprend-elle réellement ? — le monde académique et industriel n'arrêtent pas de s'affronter, maisà travers Kosmo, Hesai a mis en évidence une question plus fondamentale, que les acteurs traditionnels des grands modèles ont toujours évité et ignorée：
du modèle, surtout au stade de l'entraînementsi les sources de données peuvent s'aligner sur le monde physique réel, beaucoup de problèmes ne pourraient-ils pas être résolus d'eux-mêmes ? Beaucoup de débats ne seraient-ils pas superflus ?
Au minimum, ce n'est qu'en clarifiant l'origine des capacités du modèle et la chaîne d'attribution explicative, avant de discuter des questions essentielles des modèles du monde, que l'on échappe aux « illusions dans le miroir ».
Ce fournisseur de LiDAR issu du monde automobile, Hesai, mérite vraiment d'être pleinement réévalué.
D'abord, les compétences forgées sur la piste des voitures intelligentes — fabrication d'équipements de précision, conception de puces, production industrielle, etc. — sont devenues le socle de compétences de l'ère de l'IA physique — outre Kosmo, il y a aussi les modules d'actionnement robotiques développés en interne, petits, puissants et fiables :
Le rôle de Hesai est également passé de simple fournisseur de LiDAR au service des constructeurs automobiles à celui de fournisseur d'infrastructures d'IA physique, par exemplele chiffre d'affaires principal de Kosmo pourrait ne pas venir de la vente de matériel, mais de la vente de tokens consommés par le cerveau Kosmo pour produire des actifs de données。
Ensuite, l'équipe fondatrice de Hesai ne possède plus seulement cette unique société d'« infrastructures » Hesai, mais aussi Sharpa, une entreprise robotique full-stack :
Sharpa identifie des problèmes dans des scénarios de déploiement réels et formule des besoins ; Hesai itère et s'améliore sans cesse, proposant de meilleures solutions à l'ensemble du secteur de l'intelligence incarnée, tout en générant bien sûr des revenus directs auprès de Sharpa — sa propre petite boucle fermée fait avancer la grande boucle fermée de l'industrie.
Enfin, Hesai a depuis longtemps dépassé le cadre d'une simple entreprise de matériel.
Kosmo est en soi une solution combinant matériel et modèles, mais derrière le modèle se trouve un élément peu remarqué : la plateforme d'actifs de données, sur laquelle les données scannées par les utilisateurs, les données de test officielles de Hesai, etc., peuvent toutes être mises en open source :
Le PDG Li Yifan a par mégarde « révélé » son ambition : Hesai a délibérément donné à Kosmo un « côté Apple » — une R&D, une conception et une fabrication de matériel de premier plan pour soutenir un écosystème de plateforme couvrant toutes les industries.
Plus l'IA physique avance, plus la demande de données fraîches du monde réel ne fera qu'augmenter.
Hesai a fait irruption depuis le cercle automobile et s'est déjà positionnée à l'entrée des données de l'IA physique.
Ensuite, elle devra démontrer à quel point ce chemin allant des capteurs aux actifs de données peut générer un territoire commercial large et profond.
Il est certain que le destin final des meilleurs acteurs de la voiture intelligente ne s'arrêtera pas à la voiture intelligente.