Yunzhong, von Aofeisi
Quantum Bit | Öffentlicher Account QbitAI
Wenn die Daten immer mehr gesammelt werden, wird der Roboter dann immer besser in der Arbeit sein?
In diesem Jahr erweitert sich das Verhalten der Roboter, indem sie die mehr als zwanzigtausend Stunden menschlicher Bedienung aus EgoScale sowie die Millionen von Stunden vorab trainierten Daten von Dyna-2 nutzen.
Die beiden Studien verwendeten unterschiedliche Modelträgerwege, aber beide untersuchten eine Sache: ob menschliche Bedienungsdaten die Grenzen der Erfassung durch den Roboterkörper überwinden können, um der Robotik die Grundlage für das Erlernen weiterer Aufgaben zu geben.
Es kommen weitere Fragen: Wenn Roboter gehen, sich bücken oder beide Hände koordinieren müssen, um eine Aufgabe zu erledigen, wie viel Information über die Interaktion zwischen Körper und Umgebung bleibt in den Daten pro Stunde?
Nehmen Sie einen Paket, der Mensch muss zuerst an den richtigen Ort gehen, sich bücken, die Hand ausstrecken und packen, dann anpassen Sie die Körperhaltung, um das Paket hochzunehmen. Bewegen Sie sich entlang des Bettes, glätten Sie die Decke, die Schritte, die Armbewegungen und der Kontaktkraft müssen ebenfalls kontinuierlich koordiniert werden.
In den visuell orientierten Ego-Daten können wir sehen, was die Person getan hat, aber es ist nicht unbedingt möglich, den körperlichen Zustand hinter diesen Handlungen vollständig zu erfassen.
Wenn die Robotik in Zukunft lernen muss, geschickt den gesamten Körper zu bewegen, reicht es nicht aus, nur zu wissen, wie man die Hände verwendet.
Am 14. Oktober veröffentlichten Baoxiao Smart und Tianlong Mobile das SeePhys Hub-System für Gesamtmodale Datenerfassung, um Ego diese Informationen zu liefern.
Das gesamte Gerät besteht aus einem Vieraugen-Halsband, zwei Handgelenksbanden, drei Bein- und Rücken-Trackinggeräten und einer Tastgefühl-Handschuhausstattung. Durch die Verbindung von visuellen und motorischen Signalen wird die Körperhaltung wiederhergestellt, und entsprechend den Aufgaben werden die Drucksignale der Hände erfasst.
Es hofft, die Vorteile der Leichtigkeit und der einfachen Skalierbarkeit von Ego beizubehalten, während die Bewegung des Körpers und die Tastsinnesinformationen außerhalb des Blickfeldes wieder zurückgeholt werden.
Für Baoxiao Smart ist dies nicht einfach das Hinzufügen mehrerer Sensoren, sondern die Erforschung einer anderen Sammlungsmethode zwischen hochpräzisen, aber kostspieligen Motion- und Capture-Daten sowie leichteren Ego-Daten mit relativ begrenzten Informationen.
Notieren Sie die Körperbewegungen und den „Haptik“ zusammen.
Daten, die aus der ersten Perspektive erfasst werden, also Ego-Daten, sind zu einer wichtigen Quelle für die Erfassung von Embodied-Daten geworden.
Ego ist sehr attraktiv; die Person trägt das Gerät und führt die Operationen in alltäglichen Szenen aus, während die Kamera dem Menschen folgt. Die Datenerfassung muss nicht immer um den Roboterkörper herum erfolgen.
Aber für Aufgaben, die eine Bewegung und die Zusammenarbeit des gesamten Körpers erfordern, würde das Aufzeichnen nur der vorhandenen Szene einige wichtige Zustände verpassen.
Zum Beispiel müssen beim Heben eines Gegenstands von hoher Stelle die Schultern, Arme und der Körper zusammen angepasst werden. Die erste Perspektive-Kamera kann die Hände erfassen, aber nicht unbedingt die Positionen der Ellbogen und Beine. Wenn der Körper selbst oder Objekte die Sicht blockieren oder es zu Sichtlosigkeit kommt, wird die Schätzung der gesamten Körperhaltung noch schwieriger.
Obwohl diese Bewegungen durch Videos geschätzt werden können, stellt die Zuverlässigkeit der Schätzung eine große Herausforderung dar, wenn es zu körperlichen Deckungen, Objektdeckungen oder Sichtlücken kommt.
Die Lösung von SeePhys Hub besteht darin, eine kleine Anzahl von Tracking-Punkten an wichtigen Stellen des Körpers zu platzieren.
SeePhys Hub verwendet ein dünn verteilter Knotenmodell, indem drei Aktivitätsmessgeräte an der Taille und auf den Beinen platziert werden. Durch die Kombination von visuellen Informationen des Kopfes und Daten der beiden Arme wird mittels eines Algorithmus die gesamte Körperhaltung wiederhergestellt. Die IMU liefert Sportbezogene Signale, UWB liefert Entfernungsdaten zwischen den Knoten, die dann in Kombination mit der visuellen Information zur Schätzung der gesamten Körperhaltung verwendet werden.
Die visuelle Überwachung wurde ebenfalls erweitert. Der vieraugige Halsring ermöglicht eine 360°-Sicht, während die Handkamera Details für Naharbeiten liefert. Die optional erhältlichen Tastgefühl-Handschuhe erfassen die Druckveränderungen beim Kontakt von beiden Händen mit Objekten. Visuelle, körperliche Bewegungen und taktile Informationen werden gleichzeitig aufgezeichnet, um den tatsächlichen Prozess menschlicher Handhabung wiederzugeben.
Das Entwicklungsteam gab ein Beispiel an: Nachdem man die Flaschen aus dem Kühlschrank genommen hat, dreht man sich sofort zur Seite, um die Tür zu schließen, und die Kamera hinter dem Kopf kann diese Bewegung immer noch aufzeichnen. Die Handlungen in realen Situationen geschehen oft durch solche Drehungen, Bewegungen und Blickwinkelveränderungen.
Weiter unten steht „Handgefühl“.
Nehmen Sie einen Traubenkorn in die Hand, nach dem Berühren sollte man weiterhin Kraft ausüben oder stoppen und sanft anpassen? Die Person korrigiert die Bewegung ständig nach dem tatsächlichen Kontakt. Die Tastgefühl-Handschuhe erfassen den Berührungsdruck, wodurch die Bewegungen im Video einen entsprechenden physikalischen Signal vermitteln.
Für das Modell bieten diese Informationen die Möglichkeit, die Beziehung zwischen der Körperbewegung, den Händen und den Umweltveränderungen zu verstehen. Das Ziel des Teams ist es, herauszufinden, wie viel nützliche Information pro Stunde durch die Betriebsdaten entsteht.
Die Mehrfachsignale müssen auch in denselben Moment übereinstimmen. Im Video muss der Moment, in dem die Hand ein Objekt berührt, mit den Druckveränderungen und Bewegungszuständen übereinstimmen, damit der gesamte Interaktionsprozess analysiert werden kann. Laut Produktinformationen liegt die Synchronität zwischen der Kamera im Kopfring, dem IMU und UWB nicht über 0,5 Millisekunden. Dieser weniger auffällige technische Aspekt beeinflusst auch, ob die Daten verschiedener Modi effektiv verbunden werden können.
Nach der Sammlung gibt es noch eine Verarbeitungsstufe. Die mit SeePhys Hub verbundenen Plattformen sind für die Analyse, Reinigung, Aufteilung der Bewegungen und semantische Annotation zuständig, und sie verbinden die Szenariorekonstruktion, die Pose-Erkennung und den Handtracking. Die Bewegungsumleitung wandelt die Bewegungen des Menschen in die Körpermechanik des Roboters um, was die anschließende Trainierung und Anpassung unterstützt.
Mehr Sensoren sind nicht immer besser; die Skalierung der Sammlung erfordert neue ingenieurtechnische Entscheidungen
Die neuen Datenmodi können natürlich mehr Hinweise liefern, aber die Qualität und die Verfügbarkeit der Daten hängen ebenfalls davon ab, wie sie erfasst werden. Das Problem kommt wieder auf die Engineering- und Produktseite zurück.
Die Produktauswahl von Break Dawn erfolgt auf der Grundlage einer kleinen Anzahl von Knoten und kombiniert Algorithmen. Das Gewicht des Halsbands beträgt nicht mehr als 220 Gramm, und das einzelne Armband beträgt nicht mehr als 75 Gramm. Das Team hat Leichtigkeit, Kosten und die Freiheit der Bewegung in realen Situationen an eine wichtige Stelle im Produktdesign gesetzt.
Das erklärt auch seine Position im Erfassungsmodell.
In der dreistufigen Datenpyramide, die von Yang Shuo, Gründer und CEO von Dawnbreak beschrieben wird, ist die untere Ebene aus großen Internetvideos bestehend, die durch Algorithmen Haltung und Tastempfindungen ergänzen; die oberste Ebene umfasst Daten wie hohe Präzision bei Bewegungsaufnahmen und echte Gerätbetrieb; SeePhys Hub zielt auf die mittlere Ebene ab, um das Potenzial einer skalierbaren Sammlung sowie vollständigere Interaktionsdaten zu berücksichtigen.
△Das Bild wurde von einer KI erstelltJede Ebene übernimmt eine unterschiedliche Aufgabe. Bewegungs- und Fangdaten können zur Überwachung der Postur-Einschätzung verwendet werden, Daten von echten Maschinen helfen dabei, das Modell an den Roboter anzupassen, und menschliche Videos bieten weitere Szenarien und Handlungen. Was die tragbaren Geräte ergänzen, ist die Fähigkeit, in den realen Umgebung zu gehen und kontinuierlich zu dokumentieren.
Die Tastgefühlhandschuhe sind mit einem optionalen Design ausgestattet und entsprechen ebenfalls diesen ingenieurtechnischen Überlegungen.
Laut Yang Shuo hat das Team mit einigen Datenversorgungsunternehmen in Kontakt gestanden. „Die erste Anforderung, die sie uns machten, war, dass unsere Leute keine Handschuhe tragen sollen.“
Denn wenn es zu einer Situation wie dem Spülen von Geschirr kommt, die eine wasserdichte Funktion erfordert, wird die feine Handhabung durch das Tragen der Handschuhe beeinträchtigt und das Sensor selbst kann auch Störgeräusche aufweisen. Das Team hat im Test erlebt, dass nachdem die Handschuhe mehrmals ein Wasserkrug berührt haben, eine lokale Druckanzeige weiterhin angezeigt wird, obwohl man nichts darin hält.
Diese Art von Störung, die in die Daten gelangt, erhöht die Schwierigkeit der anschließenden Verarbeitung und des Trainings. Wenn die tragbaren Geräte die Handhabung der Menschen beeinflussen, verringert sich auch der Wert der Aufzeichnungen.
Daher können das Armband und die Handschuhe von SeePhys Hub getrennt verwendet werden. Die Kunden wählen die Konfiguration nach den Aufgaben, während die Teams weiterhin untersuchen, wie man die Tastempfindung aus der Sicht abbilden kann, um die verfügbaren Datenquellen zu erweitern.
Um das Gerät wirklich auszubreiten, sind die Lieferkette und die Qualitätssicherung ebenfalls wichtig. In dieser Zusammenarbeit konzentriert sich Dawn auf...Produktdesign und Algorithmen, Tianlong Mobile bietetErfahrung im Kostenmanagement, in der Lieferkette und bei der Qualitätssicherung。
Die Geschäftsdienste orientieren sich ebenfalls an den Fähigkeiten der Kunden. Gemäß der Teamplanung können Kunden mit Algorithmenkompetenz Hardware kaufen und die Daten selbst verarbeiten; Kunden, die ein komplettes System benötigen, können die passenden Algorithmen sowie eine lokale Installation wählen; in Forschungs- und anderen Situationen kann man auch eine Cloud-Plattform nutzen, um verarbeitete Daten zu erhalten.
Datenabruf-Anbieter, embodied-Modell-Teams, Szenario-Partner und wissenschaftliche Forschungseinrichtungen sind alle Nutzer, auf die das Team abzielt.
In Yang Shous Sicht umfasst die Ansammlung hinter den Geräten auch Pose-Erkennungsalgorithmen sowie Paarungsdaten für die Trainierung und Validierung der Algorithmen. Nur wenn Hardware, Algorithmen und Datenverarbeitung zusammen arbeiten, können die an den Menschen angelegten Sensoren zu operativen Aufzeichnungen werden, die für das Training verwendet werden können.
Warum führt eine Teamgruppe, die Weltmodellen herstellt, zunächst Datenerhebung durch?
„Unser endgültiges Ziel muss sein, das Modell gut zu machen.“ Das war Yangshuo’s Antwort, als er erklärte, warum die Morgendämmerung Datenerfassungsgeräte entwickelt hat.
Aber das lässt unweigerlich die Frage aufkommen: Warum wählt ein Unternehmen, das Roboter für den menschlichen Gehirnvermögen machen will, nicht direkt eine Lösung und beginnt stattdessen mit Daten und Geräten?
In Yang Shous Sicht liegt das Problem genau darin, welche Daten das Modell benötigt. Um Bewegungen des Körpers, Berührungen der Hände und Veränderungen der Umgebung zusammen zu modellieren, sind entsprechende Betriebsprotokolle erforderlich. Die benötigten Daten sind schwer günstig und auf große Skalen zu erhalten, daher entschied sich die Gruppe dafür, diesen Weg selbst zu nutzen.
Solche Entscheidungen hängen auch mit der Forschungsgrundlage von Yang Shuo und seinem Team vorher zusammen.
Gründer von PHANES AI Yang Shuo, geboren 1998, ist der leitende Professor und Doktorvater am Fachbereich für Informatik und Computerwissenschaften der Harbin-Universität Shenzhen.
Yang Shuo hat lange Zeit an der Forschung zu komplexen Modellen, Computervision und embodied Intelligence gearbeitet. Im Alter von 26 Jahren wurde er zum langjährigen Professor und Dozenten an der Harbin-Universität in Shenzhen ernannt. Er ist der jüngste Professor und Dozent auf dem Gebiet der künstlichen Intelligenz in China.
Seit ihrer Gründung hat Baoxiao Intelligence ein Team gegründet, das sowohl Modellexperience als auch Engineeringerfahrung besitzt. Laut der Firma haben über 90% der Kernmitglieder Abschlüsse von der Tsinghua-Universität, der Peking-Universität, der Hongkong-Universität oder der Harbin-Universität erworben. Die Forschung und die Engineeringpraxis umfassen komplexe Large-Modelle, Weltmodelle, die Verarbeitung großer Datenmengen und die Entwicklung von Hardware.
Zuvor hat das Team eine Reihe von Forschungen zu der Erfassung, Erweiterung und Verwendung von Tastdaten durchgeführt.
Im Mai 2026 wurden das EgoTouch-Datenset und die TouchAnything-Studie veröffentlicht. Das erste datenset sammelt Videos aus der ersten Perspektive, Handhaltungen und echte Tastenpressungen gleichzeitig auf, damit das Modell die Beziehung zwischen Sicht und Berührung lernt; das zweite versucht weiterhin, aus den Videos die Berührungsbereiche und die Druckverteilung zu schätzen, um haptische Informationen zu mehr visuellen Daten hinzuzufügen.
Wenn man in TouchWorld ankommt, werden diese „Haptik“-Erfahrungen in die Robotaktionen einbezogen. Das Modell vorhersagt im Voraus das visuelle und den berührungsbasierten Ziel, und während der Ausführung wird der Abweichung aufgrund des echten haptischen Feedback basierend angepasst. Stecker anschließen, Töpfe abwischen, Papiertücher auswählen – das sind alle tatsächlichen Aufgaben, mit denen das Team es testet.
SeePhys Hub erweitert den Forschungsbereich von der Berührung mit beiden Händen auf den gesamten Körperbewegungsapparat. Für die geschickte Handhabung bei der Bewegung des ganzen Körpers müssen Roboter nicht nur verstehen, wie die Hände Objekte berühren, sondern auch, wie der Körper bewegt wird, wie die Haltung angepasst wird und welche physikalischen Ergebnisse diese Handlungen bringen.
Das sind genau die Inhalte, die das Team von Dawn Next durch das Weltmodell mit vollständigem Modus lernen möchte. Laut Plan wird das Team im Jahr 2027 das Weltmodell mit vollständigem Modus veröffentlichen und die Anwendung vorzugsweise in vertikalen Bereichen wie Industrie, Gastronomie und Einzelhandel validieren.
Allerdings ist es in der aktuellen Phase noch nicht geplant, einen eigenen Roboterkörper zu bauen.
Yang Shuo ist der Ansicht, dass die Daten, die Modelle und die Umsetzungsszenarien weiterhin sich verändern. Ob ein Roboter schwere Gegenstände tragen soll und welcher Last er tragen muss, beeinflusst die Designentscheidungen des Roboters. Eine vorzeitige Festlegung der Hardware könnte zudem die Richtung der späteren Algorithmen einschränken. Er bezeichnet diesen Risikotyp als „reinem Versunkenkosten“.
Deshalb kann das eigene Ontologie in Zukunft verwendet werden. Derzeit nutzt das Team das Testmodell der allgemeinen Ontologie und plant mit den Ontologie-Anbietern sowie den Szenario-Entwicklern gemeinsame Pilotprojekte; ob es in Zukunft seine eigene Ontologie veröffentlichen wird, hängt von den Szenarioanforderungen und den kommerziellen Ergebnissen ab.
Die Morgendämmerung hat auch ihre eigenen Überlegungen bezüglich der Modelkompetition. Roboter müssen letztendlich in einer realen Umgebung in Echtzeit wahrnehmen, entscheiden und handeln können, und viele Szenarien erfordern eine lokale Implementierung. Im Vergleich zur bloßen Erweiterung des Parametermaßes ist wie es möglich ist, Modeln mit begrenztem Maß die Fähigkeit zur physischen Interaktion zu vermitteln und die Aufgaben stabil zu erledigen, vielleicht eine realistischere Herausforderung.
Wenn man zurückblickt, haben die Robotik-Datenerfassungen in den letzten Jahren immer von der Subtraktion ausgegangen: Von der Fernsteuerung zu Ego, um sich vom Roboterkörper zu lösen und die Datenerfassungsgeräte zu vereinfachen, sodass mehr menschliche tägliche Handlungen zu skalierbaren Trainingsdaten werden können.
Aber als die Roboter anfingen, zu lernen, wie sie gehen, sich bücken, tragen und präzise Handlungen ausführen, wurden die Informationen über Körperbewegungen und Kontakte außerhalb der Kamera zu einem Teil, das man nicht leicht verwerfen kann.
Die Wahl des Morgens erfolgt auf dieser leichten Route, um den gesamten körperlichen Bewegungs- und Tastempfinden wiederherzustellen. SeePhys Hub ist für das Aufzeichnen einer vollständigeren menschlichen echten Interaktion verantwortlich, und das zukünftige Modell für die Welt in allen Modalitäten muss weiterhin die Beziehung zwischen Bewegungen, Berührungen und physikalischen Ergebnissen erlernen.
Von der Art und Weise, wie der Aufzeichnende die Aufgabe erledigt, bis hin dazu, dass das Robot erkenntlich selbstständig handeln kann – das ist der nächste Schritt, den Dawnlight durch vollständige multimodale Daten erreichen möchte.
*Dieser Artikel wird von Qbit genehmigt veröffentlicht; die Meinungen gehören ausschließlich dem Originalautor.*