Dies könnte der fantasievollste „Seitenwechsel“ unter den chinesischen Akteuren im Bereich intelligente Fahrzeuge sein:
Diese kleine Tischlampe ist weltberühmt – sie ist das Logo des Hollywood-VFX-Unternehmens hinter „Toy Story“,PixarBei den letzten 30 Oscar-Preisen für die besten visuellen Effekte nutzten 24 Filme die VFX-Technologie von Pixar.
Natürlich ist Pixar auch durch seinen Gründer bekannt –Steve Jobs, sein Unternehmensgründungsprojekt, nachdem er 1985 von Apple „hinausgeworfen“ worden war.
Kürzlich hat Pixar offiziell ein neues 3D-Rendering-Tutorial veröffentlicht:
Es zeigt Kreativen, wie sie mit dem offiziellen Pixar-Werkzeug reale 3D-Gaussian-Splatting-Daten verarbeiten können; in der Beschreibung dankt Pixar ausdrücklich einem chinesischen Unternehmen für die bereitgestellte 3D-Szenen-Scanning-Lösung Kosmo.
Und dieses Unternehmen ist ausgerechnet ein Name, an dem im Bereich intelligente Fahrzeuge niemand vorbeikommt:Hesai Technology– die „Nummer eins“ bei Fahrzeug-Lidar und ein starker Verfechter der Verbreitung des „Sicherheitsgurts“ für intelligente Fahrzeuge.
Das dies das – auf der einen Seite traditionelle, hardwarelastige, dröhnende Großautohersteller, auf der anderen Seite die unbeschwerte, coole, turbulente Hollywood-Entertainmentbranche – ist Hesais Geschäftsaufstellung nicht unglaublich fantasievoll?
Wie kam das Lidar-Unternehmen Hesai nach Hollywood?
RenderManist Pixars zentrale Rendering-Technologie; die Geschichte des Algorithmus reicht weiter zurück als die des Unternehmens Pixar selbst. Steve Jobs erkannte damals das Potenzial der Computergrafik als Kunstform und setzte einen hohen Einsatz darauf.
Heute ist die GPU-beschleunigte XPU-Architektur Realität geworden, und die Unterstützung für3D Gaussian Splatting (3DGS), ein völlig neues 3D-Datenformat, wurde in RenderMan integriert.Und was RenderMan hilft, die reale Welt zu „erfassen“, ist Hesais Kosmo.：
So beschreibt Pixar den Wert von Kosmo:
Visuelle Effekte erfordern Bearbeitungsarbeiten auf Pixelebene; je reicher die Daten und Informationen sind, desto feiner sind die möglichen Anpassungen. Kosmo ermöglicht es Modellierern, jeden beliebigen Ort zu betreten undjedes räumliche Element, die präzise Geometrie und die echte Beleuchtung zu erfassen.。
Zum Beispiel die Lampe (Pixar Lamp) und der Ball (Pixar Ball) vor dem Steve-Jobs-Gebäude der Pixar-Zentrale: Mit Kosmo dauert die Raumerfassung nur 10-20 Minuten, und die erhaltenen hochwertigen 3DGS-Daten gelangen über das USD-Format direkt in die Arbeitsumgebung:
Anschließend können die Pixar-Ingenieure im direkt ausgegebenen Modellraum die Objekte verschieben, skalieren, die Transparenz anpassen, im Malstil stilisieren … und den gesamten Platz in ein Bild mit fließenden Pinselstrichen verwandeln:
Realität → 3DGS → Rendering, so die Angaben von Hesai: Für einen Raum von etwa 100 Quadratmetern benötigt die Erfassung mit dem Handgerät Kosmo etwa 15-20 Minuten:
△ Die Bedienung ist denkbar einfach: Gescannte Raumobjekte erscheinen ohne Gitternetz-Überlagerung auf dem Bildschirm; die Bereiche mit Überlagerung sind noch zu scannen.
Deshalb ist der erste Wert von Kosmo für die Film- und Unterhaltungsbranche, Umgebungsinformationen realer Objekte schnell zu extrahieren und sie zu 100% realitätsgetreu wiederzugeben.
Übrigens:Das phänomenale chinesische 3A-Spiel „Black Myth: Wukong“ – das Studio Game Science verwendete damals Hesais Lidar, um Modelle verschiedener historischer Gebäude zu erfassen– und dies ist einer der Treiber für die Entstehung von Kosmo.
Schnelles Modellieren ist nur ein Aspekt; weithin anerkannter bei Kosmo ist die Fähigkeit,das 3D-Gaussian-Splatting-Format direkt auszugeben – die erfassten Daten benötigen keine komplexere Verarbeitung mehr und können direkt mit diversen KI- und manuellen Tools bearbeitet und justiert werden.。
Im Kern ist Kosmo also tatsächlichEine Daten-Engine für die reale 3D-Welt: Mehrere verschiedene Sensoren hochgradig integriert und vollständig kalibriert, sofort einsatzbereit.，Sie gibt direkt 3D-digitale Modelle aus, die sich für das Modelltraining eignen, sich manipulieren und bearbeiten lassen und deren Raumbezüge sowie Farben und Formen unverfälscht bleiben.。
Deshalb ist der Eintrittin die Filmbranche Hollywoods im Wesentlichen nur ein nebenbei gelegtes „Ei“ auf Hesais Besteigung des Mount Everest der physikalischen KI.。
Kosmos„ursprünglichere“ Anwendungsszenarien liegen darin, als wichtigster Datenkanal-Eingang für Basismodelle der verkörperten Intelligenz und der physikalischen KI zu dienen.。
Materialien, Kanten und Farben realer räumlicher Umgebungen werden alle in Kinoqualität wiedergegeben:
Sogar die Bilder an den Wänden lassen sich verlustfrei reproduzieren – Farbblöcke, Texte und räumliche Anordnungen ohne jede Abweichung:
Neben dem Handgerät kann das Cloud-Modell hinter Kosmo direkt eine 3D-Semantische Segmentierung durchführen und die einzelnen Elemente einer Szene voneinander trennen:
Warum sollte man das tun? Die Antwort lautet:
Die mit Kosmo erstelltenDatenassets lassen sich direkt zum Aufbau von Trainingstasks für Roboter verwenden.– das ist tatsächlich das Ziel, demWeltmodellenachjagen. Der Unterschied besteht darin, dassKosmos Daten aus der realen Welt stammen, physikalische Gesetze und Kausalzusammenhänge präziser sind und sich das Verhalten der Modelle leichter erklären und rückverfolgen lässt.。
Neben Zielobjekten und Materialfarben liefert Kosmo selbst auchRaumbezügeals noch entscheidenderen Faktor:
Damit ein Roboter von der Wahrnehmung zur Kognition gelangt und aktiv Routen und Strategien plant, sind Raumbezüge ein unverzichtbarer Entscheidungsfaktor und Trainingsdaten für Modelle.
Ein solcher Dateneingang mit „vorgeübter Serienproduktion“ und „frühzeitiger Fusion“ existierte bisher im gesamten Bereich der embodied AI und des Physical AI schlicht nicht.
Akteure im Bereich Embodied Intelligence, aber auch andere Teams mit Bedarf an Kartierungs- und Erfassungsdaten, haben tatsächlich einen starken Bedarf – und benötigen weit mehr als nur LiDAR-Daten.
Bisher war die Herangehensweise jedoch, dass jeder unterschiedliche Sensorbauteile selbst einkauft und eine eigene Datenerfassungsanlage zusammenbaut – nicht standardisiert, unzuverlässig, teuer und ohne Iterationsmöglichkeit.
Doch all diese Schmerzpunkte liegen genau im Komfortbereich von Hesai, dem „Nummer-eins“-Anbieter von LiDAR: präzise optoelektronische Geräte, Automobilstandards, industrielle Serienfertigung.
Daher ist in Kosmo selbstverständlich ein LiDAR integriert, doch es ist weit mehr als nur eine Verlängerung von Hesais Fahrzeugo-LiDAR-Geschäft und auch keine Show, um mehr LiDARs zu verkaufen (der LiDAR-„Primus“ liefert bereits Millionen Geräte pro Jahr aus und ist längst breit anerkannt), sondernes löst das alle plagende Problem des „Radierens neuer Räder“ im Bereich der Embodied Intelligence und des Physical AI –
das erste spezialisierte Datenterminal der Branche nach dem Prinzip „einschalten und scannen, scannen und nutzen“.。
Was ist anders an Hesais Kosmo?
Kosmo besteht aus zwei Komponenten: Das in den Händen der Nutzer befindliche Kosmo One ist die Erfassungseinheit, das cloudbasierte Kosmo World ist die Rekonstruktionseinheit.
Im Inneren von Kosmo One befinden sich vier Arten von Sensoren: ein kundenspezifischer LiDAR, ein ultra-hochauflösendes Bildsystem mit bis zu 8K Auflösung, ein großer 1-Zoll-CMOS-Sensor und eine hochpräzise IMU.
Die Signale, die diese vier Sensortypen ausgeben, sind naturgemäß unterschiedlich: Punktwolken sind eine Menge spärlicher dreidimensionaler Koordinaten, Bilder sind zweidimensionale Pixelarrays, die IMU liefert hochfrequente Zeitreihendaten usw.
Frühzeitige Fusion bedeutet, dass diese Signale bereits auf Hardware-Ebene ausgerichtet werden, bevor sie in irgendeinen Rekonstruktionsalgorithmus eingehen.
Das geschieht in zwei Dimensionen – zeitlich erreicht Kosmo eine synchronisierte Erfassung im Mikrosekundenbereich: Die vier Sensortypen teilen sich dieselbe Taktquelle und denselben Trigger-Mechanismus, jeder Datenrahmen ist strikt an seinen Zeitstempel gebunden.
Räumlich bestimmt die ExTrinsik-Kalibrierung zwischen LiDAR und Kamera, ob jeder dreidimensionale Punkt der Punktwolke exakt auf die entsprechenden Bildpixel projiziert werden kann.
Kosmo One integriert alle drei Komponenten in einem einzigen Gerät; die Extrinsik-Parameter werden ab Werk kalibriert und während des Betriebs mit Unterstützung der IMU aufrechterhalten. Die vom LiDAR gemessene Tiefe kann direkt punktweise den Bildpixeln zugeordnet werden, ohne dass die relative Position der Sensoren softwareseitig über Feature-Matching geschätzt werden muss.
Das Ergebnis der frühzeitigen Fusion ist eine Reihe zeitlich und räumlich ausgerichteter multimodaler Datenrahmen.
In jedem Rahmen sind LiDAR-Punktwolke, RGB-Bildpixel und IMU-Posentrajektorie an denselben Zeitstempel gebunden und beschreiben gemeinsam eine vollständige Beobachtung des Raums durch das Gerät zu diesem Zeitpunkt.
Die gerätebasierte frühzeitige Fusion ist tatsächlich verwandt mit der pixelebenden frühzeitigen Fusion, die Hesai auf dem Picasso SPAD-SoC umsetzt: Dort werden RGB-Filter über den SPAD-Pixeln integriert, so dass ein einzelnes Pixel gleichzeitig Photonzählung und ToF-Zeitmessung vornimmt und direkt eine zeitlich-räumlich ausgerichtete farbige Punktwolke ausgibt.
Kosmo One überträgt diesen ähnlichen Ansatz vom Chip auf ein Multi-Sensor-System.
Anschließend werden die multimodalen Rahmen in die Cloud hochgeladen und gelangen in das Kosmo Spatial Core, kurz KSC, das sie in eine 3D-Gaussian-Splatting-Repräsentation umwandelt.
3DGS ist eine auf der SIGGRAPH 2023 vorgestellte Methode zur Darstellung dreidimensionaler Szenen. Sie konstruiert die Szene aus einer Vielzahl dreidimensionaler Gaußscher Verteilungen, wobei jede Gauß-Verteilung ihre eigene Position, Form, Transparenz und eine sich mit dem Blickwinkel ändernde Farbe besitzt.
Beim Training wird von einer durch Kamerakalibrierung erzeugten spärlichen Punktwolke ausgegangen; durch die Differenz zwischen gerenderten und realen Bildern werden die Gauß-Verteilungen angepasst, bis am Ende ein dreidimensionaler Punkthaufen entsteht, der in Echtzeit fotorealistische Bilder rendert.
Doch das ursprüngliche 3DGS hat eine Schwäche: Es verlässt sich nur auf Bilder; aus monokularen Bildern lässt sich der reale Maßstab der Szene nicht bestimmen, texturarme Bereiche wie weiße Wände oder Glas werden leicht falsch berechnet, und die räumliche Verteilung der Gauß-Verteilungen unterliegt keinen physikalischen Randbedingungen.
Die akademische Welt konzentrierte sich in den vergangenen zwei Jahren auf die Lösung dieses Problems, mit dem Ansatz, die absolute Tiefe des LiDARs in die Initialisierung und Optimierung von 3DGS einzuspeisen.
Übertragen auf Kosmo ergibt sich dadurch folgender Ablauf:
Kosmo One führt die Mikrosekunden-synchronisierte Erfassung durch, die ISP übernimmt die Farb- und Helligkeitskonsistenz über mehrere Blickwinkel, die Daten werden an das KSC hochgeladen.
Das KSC initialisiert die Gauß-Positionen mit der LiDAR-Punktwolke, nutzt die Tiefe als geometrische Randbedingung in der Optimierung, und RGB-Informationen werden über photometrische Verluste durch differentielles Rasterization in die Farbparameter der Gauß-Verteilungen eingespeist.
Die drei Signalwege wirken im selben Optimierungsrahmen zusammen und liefern schließlich eine 3DGS-Repräsentation aus, bei der Position, Form und Farbe gleichzeitig konvergieren.
Gleichzeitig exportiert das KSC darauf aufbauend synchron zwei homogene Datenformen, mesh und depth, mit vereinheitlichtem räumlichem Koordinatensystem, ohne dass eine übergreifende Formatregistrierung nötig ist.
Am Ende liefert eine einzige Rekonstruktion synchron drei direkt für Robotik-Training nutzbare Datenformen aus: 3DGS, mesh und depth.
Schließlich verfügt das KSC zudem über AIGC-Vervollständigungsfunktionen, die nicht gescannte blinde Bereiche automatisch ergänzen und Materialien erkennen, und über eine KI-Semantische Segmentierung, die Objekte in der Szene eigenständig identifiziert und annotiert, sodass statische 3D-Modelle direkt in KI-trainierbare strukturierte Daten umgewandelt werden können.
Spitzenhersteller intelligenter Fahrzeuge können nicht beim intelligenten Fahrzeug stehen bleiben.
Die Eigenschaften von Kosmo gehen tatsächlich weit über intelligente Fahrzeuge hinaus, ja sogar über Anwendungsszenarien der verkörperten Intelligenz hinaus.
Film, Spiele, Kartierung, Robotik und sogar Immobilien benötigen ebenfalls Kosmos Fähigkeiten – VR-Wohnungsbesichtigungen.。
△ Pixars Chef der Kreativabteilung Dylan und der CEO von Hesai, Li Yifan
Ein Satz dazu: Wenn Daten das „Erdöl“ sind, dann ist Kosmo tatsächlich die durchgängige Integration der gesamten Infrastruktur von der Ölförderung bis zur Raffinerie, sodass alle „Fahrzeughalter“ (KI-Modelle, Anwendungsschichten, Datennachfrager) einfach vorfahren, tanken und sofort einsatzbereit losfahren können.
Dies ist die Breite der Anwendungen, während Hesai bei der „Tiefe" tiefere Gedanken in Kosmo einfließen ließ.
Von autonomen Fahrzeugen bis hin zur verkörperten Intelligenz geht der Streit zwischen Datensimulation und realer Datenerhebung nie zu Ende – doch seit das Konzept der Weltmodelle in diesem Jahr in Mode gekommen ist, scheint diese 'zahlende Disziplin' ihrem Ende entgegenzugehen:
Wenn es doch schon Weltmodelle gibt, warum dann großen Aufwand in echte Datenerfassung stecken?？
Aus dieser Logik betrachtet scheint Kosmo der „Anti-KI-Welle“ zu sein.
Doch der Vergleich zwischen GPT-6 Astra und den von Kosmo rekonstruierten Szenendaten zeigt eigentlich schon, worum es geht:
Zumindest die heutigen „Weltmodelle“ können eine solche Frage nicht beantworten:
Je stärker die KI, desto mehr Probleme können Weltmodelle/Roboter erschließen und lösen – das heißt, desto mehr Szenarien werden für physische KI-Endgeräte freigeschaltet, aber gleichzeitig steigen auch die Anforderungen an die Generalisierung.
Braucht man dann nicht erst recht frische Daten aus der realen Welt als Grundlage?
Raumdaten-Erfassungsprodukte wie Kosmo könnten also langfristig existieren.
Das heißt: Kosmo wird nicht ersetzt, sobald die KI stärker wird – je stärker die KI, desto nützlicher ist es. Es ist „pro-KI“.
Zurück zum Einwand: Kosmo selbst ist der Kickstart des Weltmodells;
Was dieGrundsatzdebatte über Weltmodelle angeht – rät die KI die Welt nur, oder versteht sie sie wirklich? Wissenschaft und Industrie streiten sich unaufhörlich, so hatHesai mit Kosmo eine tiefere Frage klar benannt, die klassische Großmodell-Anbieter stets gemieden und ignoriert haben:：
Wenn die Datenquelle eines Modells – insbesondere in der Trainingsphase –an die reale physische Welt ausgerichtet werden kann, lösen sich dann nicht viele Probleme von selbst? Sind viele Debatten dann nicht gar nicht nötig?
Zumindest erst, wenn die Herkunft der Modellfähigkeiten und die Kette der Attribuierung geklärt sind, ist eine Diskussion über das Wesen von Weltmodellen kein „Spiegelbild im Wasser, Blüte im Mond“ mehr.
Dieser Lidar-Lieferant Hesai, der aus der Automobilbranche kommt, sollte tatsächlich gründlich neu bewertet werden.
Zunächst einmal sind die Fähigkeiten in Präzisionsgerätefertigung, Chipdesign, technischer Serienproduktion und mehr, die auf dem Gebiet der intelligenten Fahrzeuge trainiert wurden, zur Fähigkeitsgrundlage im Zeitalter der physischen KI geworden – neben Kosmo gibt es auch die selbst entwickelten Robotertreibmodule: klein, kraftvoll, zuverlässig:
Hesais Rolle hat sich vom reinen Lidar-Lieferanten für Autohersteller zum Anbieter von Infrastruktur für physische KI gewandelt – so könntedie Haupteinnahmequelle von Kosmo nicht der Hardwareverkauf sein, sondern der Verkauf von Tokens, die beim Verbrauch der Datenvermögenswerte, die das Kosmo-Gehirn produziert, anfallen。
Zweitens: Das Gründungsteam von Hesai besitzt inzwischen nicht nur mit Hesai dieses eine „Infrastruktur“-Unternehmen, sondern auch das Robotik-Full-Stack-Unternehmen Sharpa:
Sharpa entdeckt Probleme in realen Anwendungsszenarien und gibt Anforderungen zurück; Hesai iteriert und aktualisiert kontinuierlich und stellt bessere Lösungen für die gesamte Embodied-Intelligence-Branche bereit – und erzielt natürlich auch direkte Einnahmen über Sharpa. Ein kleiner eigener Kreislauf, der den großen Kreislauf der Branche vorantreibt.
Schließlich hat Hesai den Rahmen eines reinen Hardware-Unternehmens längst gesprengt.
Kosmo selbst ist eine integrierte Lösung aus Hardware und Modell, doch hinter dem Modell liegt etwas, das weniger beachtet wird: eine Datenvermögenswert-Plattform, auf der von Nutzern gescannte Daten, die eigenen Testdaten von Hesai und mehr als Open Source bereitgestellt werden können:
CEO Li Yifan hat seine Ambitionen beiläufig „verraten“: Hesai hat Kosmo bewusst mit einem „Apple-Gefühl“ gestaltet – erstklassige Hardware-Entwicklung, -Design und -Fertigung sollen eine plattformübergreifende Ökosystem-Abdeckung der gesamten Branche stützen.
Je weiter die physische KI voranschreitet, desto größer wird nur der Bedarf an frischen Daten aus der realen Welt.
Hesai hat sich aus dem Automobilsektor hervorgetan und steht bereits an der Eingangsstelle für physische KI-Daten.
Als Nächstes muss es beweisen, wie breit und tief der Geschäftsbereich ist, den dieser Weg von den Sensoren bis zu den Datenassets eröffnen kann.
Sicher ist: Das Endspiel der führenden Anbieter intelligenter Fahrzeuge wird nicht bei intelligenten Fahrzeugen stehen.