Autorin丨 Zhang Qiping, Xing Lijuan
Redaktion丨 Xing Lijuan
Der Wettbewerb der Weltmodelle geht derzeit von „der Generierung der Zukunft“ zu der Frage über, „ob sie von Robotern wirklich genutzt werden können“.Videos lassen sich immer realistischer generieren, doch sobald sie in Robotersysteme eingebracht werden, müssen Weltmodelle konkretere Fragen beantworten: Kann sie den Zustandswechsel nach der Ausführung einer Aktion vorhersagen? Kann sie das Training von Politiken unterstützen? Kann sie letztlich Aufgaben auf realen Robotern erfüllen? WorldArena hat die Weltmodelle in denselben „Prüfungsraum“ gebracht. Dieses Bewertungssystem wurde von einem Team der Tsinghua-Universität gemeinsam mit mehreren in- und ausländischen Universitäten entwickelt und gehört zu den maßgeblichsten Bewertungsrankings im Bereich der Weltmodelle. WorldArena 1.0 hatte die Bewertung von Weltmodellen bereits über reine Videoerzeugung hinaus zunächst auf verkörperte Aufgaben wie Datengenerierung, Politikevaluation und Aktionsplanung ausgeweitet. Doch insgesamt konzentrierte sie sich weiterhin vor allem auf visuelle Eingaben, Offline-Aufgaben und Simulationsumgebungen. Systematische Bewertungen fehlten noch für die Ausführung auf realen Robotern, geschlossene Regelkreise des Online-Verstärkungslernens, visuell-taktile multimodale Wahrnehmung sowie Rauschen, Latenz und Fehlerakkumulation bei realen Einsätzen.Um diese Lücken zu schließen, hat WorldArena 2.0 das Bewertungssystem weiter aufgewertet.Die Modalität wurde von rein visuell auf visuell-taktil erweitert, die Funktionalität von Offline-Aufgaben auf Online-Verstärkungslernen, und die Plattform von Simulationsumgebungen auf reale Roboter. Als eine der einflussreichsten internationalen Top-Konferenzen im Bereich Robotik bot die IROS die Bühne: Die WorldArena 2.0 Challenge errichtete auf diesem Großereignis eine Wettkampfarena mit geschlossenem Regelkreis auf realen Robotern; drei Tracks richten sich jeweils auf Videoqualität, Online-Verstärkungslernumgebungen und die Manipulation durch reale Roboter. Nach so langem Gelehrtenstreit zwischen den großen Schulen der Weltmodelle messen sich die Modelle verschiedener technologischer Routen auf dieser Wettkampfbühne nun endlich ernsthaft und unter realen Bedingungen.ShiQiWeiLai, das ausdrücklich den JEPA-Weg geht,holte den Titel in Track 1,die Route der räumlichen Intelligenzverfolgende BWM-Turbo-Modell der Tongji-Universität landete mit 0.84 Punkten Abstand auf Platz 2; außerdem gehört die JEPA-Route verfolgende ChenHunXian Technology,in der Gesamtwertung von Track 2 auf Platz 2. Ein bemerkenswertes Detail: Bei den jeweiligen Top 2 aller drei Tracks ist die akademische und die industrielle Seite jeweils mit einem Platz vertreten. Der Wettbewerb der Weltmodell-Tracks hat damit eine direkte Kollision von akademischen und ingenieurstechnischen Fähigkeiten erreicht. Zur Ausrichtung des Wettbewerbs, zur Zusammenarbeit mehrerer Institutionen, zur Gestaltung der Tracks und zu den Ranking-Ergebnissen hat AI Technology Review auch das ausrichtende Tsinghua-Team der WorldArena 2.0 Challenge interviewt. Ihre Antworten zeigen weiter, wie dieses Bewertungssystem beim Übergang zu Online-Interaktion und Ausführung auf realen Robotern gestaltet wurde, wie zusammengearbeitet wurde und welche Grenzen es gibt.
01
WorldArena 2.0:Worin besteht die Schwierigkeit der neuen „Großen Prüfung“?
WorldArena 2.0 treibt die Bewertung von Weltmodellen weiter in Richtung Online-Interaktion und reale Roboter.WorldArena 1.0 prüfte vor allem zwei Arten von Fähigkeiten: zum einen die Qualität der von Weltmodellen generierten Zukunftsvideos, wobei 15 Metriken visuelle Qualität (Visual Quality), Bewegungsqualität (Motion Quality), inhaltliche Konsistenz (Content Consistency), physikalische Folgerichtigkeit (Physics Adherence), 3D-Genauigkeit (3D Accuracy) und Steuerbarkeit (Controllability) abdeckten; zum anderen, ob diese Vorhersagen für Roboter tatsächlich nützlich sind, einschließlich Datengenerierung, Politikevaluation und Aktionsplanung. Die Bewertung von 14 repräsentativen Modellen zeigte, dass Videoqualität und Leistungen bei verkörperten Aufgaben nicht immer zusammenfallen. Dass Bilder klarer und flüssiger generiert werden, bedeutet nicht, dass ein Modell bei Datengenerierung, Politikevaluation und Aktionsplanung zwangsläufig besser abschneidet. Auch der Abdeckungsbereich von WorldArena 1.0 war relativ begrenzt:In der Modalität wurden nur visuelle Informationen verarbeitet, in der Funktionalität standen vor allem Offline-Aufgaben wie Datengenerierung, Politikevaluation und Aktionsplanung im Mittelpunkt, und auf Plattformebene blieb man hauptsächlich in Simulationsumgebungen. Taktiles Feedback, Online-Interaktion und die Ausführungsleistung auf realen Robotern wurden von dieser Bewertung nicht erfasst.Das Upgrade von WorldArena 2.0 setzt dagegen entlangvon Modalität (Modality), Funktionalität (Functionality) und Plattform (Platform)in drei Richtungen an.In der Modalität: Erweiterung von rein visuell auf visuell-taktil.Geprüft wird, ob ein Modell Bildinformationen und Kontaktinformationen gleichzeitig verarbeiten kann.In der Funktionalität: Erweiterung von der Offline-Evaluation auf Online-Verstärkungslernen.Geprüft wird, ob ein Weltmodell als Interaktionsumgebung das Training von Politiken unterstützen kann.Auf Plattformebene: Erweiterung von der Hauptsache Simulationsumgebungen auf echte Roboterbewertungen.Neben Simulationsumgebungen wie RoboTwin 2.0 und LIBERO führt WorldArena 2.0 zusätzlich Tests auf realen Robotern ein und bezieht damit auch die Ausführungsleistung der Modelle in der physischen Umgebung in die Bewertung ein. Entlang dieser Ausrichtungsrichtungen der Bewertung auf Basis von WorldArena 2.0 hat die Challenge drei Tracks eingerichtet:Track 1 bewertet die Videoqualität, Track 2 bewertet die Fähigkeit des Weltmodells als Verstärkungslernumgebung, Track 3 bewertet die Manipulation durch reale Roboter.Track 1 führt die bestehende Videoqualitätsbewertung fort und wertet sie auf, Track 2 und Track 3 sind in 2.0 neu hinzugekommene Tracks.
Track 1 umfasste 70 offizielle Aufgaben. Davon waren 50 ID-Szenarien (In-Distribution) mit weißem Tisch, weitere 20 waren OOD-Szenarien (Out-of-Distribution) mit farbigen oder strukturierten Tischen. Alle teilnehmenden Modelle wurden anhand desselben Datensatzes getestet.
Diese Spur prüft die Leistung der Videoerzeugung in Langzeitszenarien und unter Verteilungsverschiebungen. Die OOD-Szenarien verändern Farbe und Textur des Tisches und führen damit visuelle Bedingungen ein, die sich von den ID-Szenarien unterscheiden, um zu beobachten, ob das Modell bei Verteilungsänderungen die Objektidentität, die räumliche Topologie und die kausale Konsistenz der Aktionen weiter aufrechterhalten kann. Das Endergebnis wird gemeinsam durch 15 Metriken bestimmt, die Bildqualität, Bewegungsqualität, Inhaltskonsistenz, Interaktionsgenauigkeit, 3D-Geometrie und Instruktionsausführung abdecken. Auch die JEPA-Repräsentationsähnlichkeit (JEPA Similarity) wurde einbezogen: Mit V-JEPA werden Videomerkmale extrahiert und verglichen, ob die Merkmalsverteilungen des generierten Videos und eines echten Referenzvideos nahe beieinanderliegen.Track 2 geht weiter in die kontinuierliche Interaktion.Das Weltmodell muss als Reinforcement-Learning-Umgebung dienen, in der die Politik wiederholt Aktionen ausführt, neue Zustände und Belohnungen erhält und daraufhin weiter aktualisiert wird. Nach Abschluss des Trainings muss die Politik außerdem in RoboTwin 2.0 zurückkehren, um die Aufgaben-Erfolgsquote zu testen und zu prüfen, ob das Weltmodell tatsächlich unterstützt,On-Policy-Training.Dies erfordert, dass das Weltmodell über mehrere Interaktionsrunden stabil und in seinen Aktionen kontrollierbar bleibt, die durch verschiedene Aktionen verursachten Zustandsänderungen korrekt widerspiegelt und zuverlässige Bilder erzeugt, die dem Modell wirksame Belohnungssignale liefern. Selbst eine einzelne Vorhersageabweichung kann in die nächste Interaktionsrunde übertragen werden und sich in der kontinuierlichen Interaktion fortlaufend aufsummieren.
Track 3 verlagert die Bewertung direkt auf echte Robotermanipulation. Die Veranstalter haben gleichzeitig rein visuelle sowie visuo-taktile Aufgaben eingerichtet: Dazu gehören sowohl visuell gesteuerte Operationen wie Tischwischen, Wassereinschenken, Abräumen des Tisches und Kleidungsfalten als auch Aufgaben, die Kontaktinformationen erfordern, wie das Greifen von Kartoffelchips, das Schälen einer Gurke oder das Einführen eines zweipoligen Steckers. Am echten Roboter wirken sich Änderungen der Kontaktkraft, Sensorrauschen und Kommunikationsverzögerungen unmittelbar auf das Taskergebnis aus. Im Fokus stehen die Generalisierungsrobustheit von Modellen und Politiken in realen Umgebungen sowie die Fähigkeit zur Selbstkorrektur nach Aktionsabweichungen.Von Track 1 bis Track 3 schreitet die Bewertung schrittweise von der Frage „Kann es vorhersagen?“ über „Kann es Lernen tragen?“ bis hin zu „Kann es Aufgaben auf einem echten Roboter erfüllen?“ voran.02
Drei Spuren entschieden, jeder Champion,wie stark die jeweiligen Teams punkten
Am 16. September wurde die globale Endrangliste des WorldArena 2.0 Challenge veröffentlicht. Die drei Spuren wurden unabhängig voneinander gewertet und ausgezeichnet; nach den auf der offiziellen Website veröffentlichten Preisgeldern beträgtdas Gesamtpreisgeld 7000 US-Dollar.▎Track 1: WorldIncept – nicht nur Sieger bei „schönen“ Videos
Auf der Endrangliste von Track 1 erreichten insgesamt 81 Modelle ein Endergebnis.WorldIncept von Visincept (视启未来) erreichte mit 72.33 Punkten den ersten Platz; BWM-Turbo des Space-Intelligence-Teams der School of Computer Science and Technology der Tongji-Universität folgte mit 71.49 Punkten auf Platz zwei, ein Abstand von 0.84 Punkten. Betrachtet man die Teilwertungen, so beschränken sich die Vorteile von WorldIncept nicht auf die Bildqualität. Die Endrangliste zeigt,dass WorldIncept bei den Dimensionen Physics Adherence (physikalische Regelkonformität) und 3D Accuracy (3D-Genauigkeit) jeweils den ersten Platz belegte；; bei Semantic Alignment (semantische Ausrichtung) erreichte es 90.11 Punkte und lag damit ebenfalls in dieser Einzelwertung auf Platz eins.Die Physics Adherence prüft, ob der Generierungsprozess den Bewegungs- und Interaktionsgesetzen der realen Welt entspricht; die 3D-Genauigkeit untersucht weitergehend Tiefe, Perspektive und räumlich-geometrische Beziehungen; die semantische Ausrichtung betrachtet, ob sich das Generierungsergebnis tatsächlich gemäß den Aufgabenanforderungen verändert hat. Diese führenden Metriken stehen in gewissem Zusammenhang mit dem Fachwissen des Teams hinter WorldIncept. Das Unternehmen Visincept hinter WorldIncept wurde vom IDEA Research Institute inkubiert, hat bereits die visuelle Modellreihe DINO-X und das Universal-Greifmodell DINO-XGrasp vorgebracht und gemeinsam mit Baidu Intelligent Cloud die EgoTwin-Daten-Engine entwickelt. Es stützt sich auf Ego-Daten und Teleoperationsdaten im Umfang von 100,000 Stunden für die Modellierung der Roboterdynamik und vereint das Know-how des Teams in universellem Objektverständnis, räumlicher Intelligenz sowie Verständnis von menschlichen Körper- und Handbewegungen. Im Vergleich dazu konzentriert sich das Space-Intelligence-Team der Tongji-Universität stärker auf die Stabilität der Langzeiterzeugung. BWM-Turbo ergänzt die DiT-Architektur um Designs wie Erstbildführung, dynamischen Speicher und Aktionssteuerung und behandelt vor allem Probleme der Szenenstabilität, Aktionsantwort und zeitlichen Konsistenz bei der Langzeiterzeugung. In dieser Endrangliste belegte BWM-Turbo bei den beiden Metriken Background Consistency (Hintergrundkonsistenz) und JEPA Similarity (JEPA-Repräsentationsähnlichkeit) den ersten Platz, was die Vorteile dieses Ansatzes in Szenenstabilität und Repräsentationskonsistenz zeigt. Die beiden Ansätze verfolgen unterschiedliche technische Ausrichtungen, doch der Wettbewerbsschwerpunkt von Track 1 ist bereits klar erkennbar: Videoerzeugung ist nur die Grundlage,während die stabile Aufrechterhaltung der physikalischen Konsistenz in räumlichen Strukturen, Aktionsänderungen und Langzeitableitungen zunehmend zum entscheidenden Faktor für Abstände im Klassement wird.▎Track 2: MW2 – Weltmodelle beginnen, tatsächlich in das Politiktraining einzutreten
Track 2 ist die im Rahmen von WorldArena 2.0 neu hinzugekommene Online-Verstärkungslernens-Strecke, die bewertetKann ein Weltmodell wirklich als Umgebung für das Training von Roboterstrategien dienen?„. Die Strategie erzeugt zunächst Aktionen, das Weltmodell sagt den zukünftigen Zustand nach der Aktion voraus, dann werden anhand dieser Vorhersagen die Belohnungsberechnung und die Strategieaktualisierung durchgeführt, und schließlich wird geprüft, ob die trainierte Strategie die Aufgabe erfüllen kann."Die Wettbewerbsstrecke basiert auf der RoboTwin-Umgebung und verwendet die Aufgabe „Adjust Bottle“ (Flasche justieren). Diese Aufgabe verlangt vom Roboter, die Position und Ausrichtung der Flasche neu zu justieren und prüft damit die präzise Posenkontrolle sowie die Stabilität des Greifens.
In der Endabrechnung,Die MW2 der Zhongguancun-Akademie Peking belegt mit 72,93 Punkten den ersten Platz„…，晨昏线科技的 TTWM lag mit 72.40 Punkten auf dem zweiten Platz, der Abstand zwischen beiden beträgt nur 0.53 Punkte; es sind auch die einzigen beiden von 47 bewerteten Modellen, die 72 Punkte überschreiten. Die Peking-Zhongguancun-Akademie hinter MW2 baut ihr Engagement in den Bereichen verkörperte Intelligenz und physische Intelligenz in den letzten Jahren kontinuierlich aus. TTWM, das direkt dahinter folgt, verfolgt beim Training von Weltmodellen einen konkreteren Optimierungsansatz. Es ist …"Die Wettbewerbsversion des Zielfokus-Weltmodells GCWM (Goal Causal World Model) für den Terminator…mit dem Schwerpunkt, zu modellieren, „wie eine Aktion den zukünftigen Zustand verändert“. Das Modell sagt, konditioniert auf den aktuellen Zustand, das Aufgabenziel und die Roboteraktion, die physikalischen Wechselwirkungen und Zustandsänderungen nach Ausführung der Aktion voraus. Beim kontinuierlichen Rollout in Track 2 optimierte das Team zudem gezielt hinsichtlich Zielregionen, räumlicher Geometrie und Konsistenz über die Zeit hinweg und reduzierte durch Designs wie frame-weise Rausch- und Kaltstart-Randomisierung die Fehlerakkumulation bei mehrstufigen Vorhersagen. Diese Designs spiegeln sich auch in der Leistung der nachgelagerten Politik wider. Das Baseline-VLA π0.5 erreichte eine Erfolgsquote von 55.46 %; nach Einsatz von GCWM als Reinforcement-Learning-Umgebung zur Politikoptimierung stieg die Erfolgsquote des VLA-Modells auf 72.40 %. Track 2 verlagert den Wettbewerbsfokus weiter hin zum Politiklernen: Ob ein Weltmodell tatsächlich die Leistung der nachgelagerten Politik verbessern kann, ist der Kern dieser Disziplin.▎Track 3: ViTacX, Gesamtsieg bei Aufgaben mit echten Robotern
Track 3 ist die im Rahmen von WorldArena 2.0 neu eingeführte realrobotische Evaluierungsstrecke, die abdeckt AgileX-Duarmroboter und Franka Panda-Einarmroboter。其中 evaluates Track 3.1 visuo-tactile manipulation and is completed on the AgileXChips greifen, Gurken schälen und einen Stecker mit zwei Polen einstecken 3 Aufgaben; Track 3.2 bewertet rein visuelle Bedienung, AgileX-AufbauTisch abwischen, Wasser eingießen, Tischplatte räumen, Tischplatte nach Anweisung räumen, Kleidung falten und Pappkartons falten 6 Aufgaben, wobei Franka auch das Abwischen von Tischen, das Ausgießen von Wasser und das Aufräumen der Tischfläche abdeckt.Die einzelnen Aufgaben werden anhand der Erfolgsquote bei der Ausführung auf realen Robotern bewertet; die Gesamtwertung kombiniert die Aufgabenschwierigkeit und summiert die Punkte nach den Gewichtungen der Bereiche Visuell und Visuo-Taktil. Der Roboter muss die Operation innerhalb der vorgegebenen Schrittzahl abschließen und darf dabei keine Sicherheitsintervention auslösen.
In der Gesamtrangliste,Das vom MiRobot-Team von Xiaomi eingereichte ViTacX belegte mit 76.64 Punkten den ersten Platz, das OmniFlow-Team der ShanghaiTech-Universität 67.37 Punktebelegt den zweiten Platz. Der Hauptvorteil von ViTacX stammt von der rein visuellen Teilliste. In Track 3.2 erreichte es mit 85.00 Punkten auf dem ersten Platz„…und erzielte in 4 Disziplinen – Tisch abwischen, Wasser eingießen, Kleidung falten und Kartons falten – die Höchstpunktzahl in den Einzelwertungen, wobei die ersten drei davon jeweils 100 Punkte erreichten. Betrachtet man den technischen Hintergrund des Teams, so konzentriert sich Xiaomi Robot seit langem auf Embodied Foundation Models, VLA und die Ausführung auf echten Robotern; die Forschung deckt Bereiche von der visuellen Wahrnehmung über die Bewegungsgenerierung bis zur kontinuierlichen Ausführung auf realen Robotern ab. Diese Richtungen entsprechen genau den von Track 3.2 geprüften Fähigkeiten der visuell gesteuerten Manipulation und der Ausführung auf echten Robotern.“Track 3.2 Rein visuelle Bedienungs-RanglisteAuf der Sub-Rangliste Track 3.1 Visuo-Taktile erreichte ViTacX mit 66,67 Punkten den dritten Platz. Im Gegensatz dazu hielt sich OmniFlow sowohl auf der rein visuellen als auch auf der visuo-taktilen Sub-Rangliste konstant auf dem zweiten Platz. Die hinter ihm stehende ShanghaiTech University betreibt seit Langem Forschung zu Robotermanipulation und taktilen Themen; die Forschung des Zentrums für Automatisierung und Robotik zu Embodied Manipulation deckt taktile Wahrnehmung, Teleoperation, Imitationslernen, verstärkendes Lernen und Multi-Kontakt-Bewegung ab.Track 3.1 Rangliste für visuo-taktile ManipulationAus den beiden Teilwertungen geht hervor, dass ViTacX sein Vorteil in der Gesamtwertung hauptsächlich der visuell gesteuerten Real-Robot-Manipulation verdankt, während seine Leistung bei visuo-taktilen Aufgaben vergleichsweise weiter hinten liegt.03
Unter derselben Evaluierung,Technologieansätze für Weltmodelle mit jeweils unterschiedlichen Schwerpunkten
Betrachtet man die bereits veröffentlichten Ansätze und die Ergebnisse der Rangliste, so hat WorldArena 2.0 unterschiedliche Technologieansätze für Weltmodelle in ein und dasselbe Evaluierungssystem gestellt, und es wird zunehmend klarer, worin die einzelnen Ansätze jeweils stark sind. Die beiden erstplatzierten von Track 1 verweisen auf zwei unterschiedliche Technologieansätze. Der hinter WorldIncept stehende Ansatz 视启未来 verfolgt konsequent JEPA-Ansatz im latenten Raum, der BWM-Turbo hingegen gehtRäumliche-Intelligenz-Route。Die Modelle beider Ansätze traten im direkten Vergleich an: WorldIncept führte bei der physikalischen Korrektheit und der 3D-Genauigkeit, während BWM-Turbo bei der Hintergrundkonsistenz und der Ähnlichkeit der JEPA-Repräsentationen den ersten Platz belegte. Track 2 prüft direkt, ob ein Weltmodell stabil als Trainingsumgebung für Strategien dienen kann. Den Sieg holte MW2 von der Beijing Zhongguancun Academy; das Team beschäftigt sich mit dem Verständnis physikalischer Gesetze durch Roboter und verbindet dieses Verständnis mit dem Erlernen und der Ausführung von Aktionen. Den zweiten Platz belegte TTWM von der Firma Chenhunxian Technology, das stärker auf die kausale Vorhersage von Aktionen fokussiert und dabei Zielregionen, räumlich-geometrische Beschränkungen, die Konsistenz von Objekten über die Zeit sowie die Fehlerakkumulation bei fortlaufenden Rollouts berücksichtigt. In Track 3 sicherte sich ViTacX des MiRobot-Teams von Xiaomi den Gesamtsieg, doch sein Vorteil bei rein visuellen Aufgaben setzte sich bei der visuo-taktilen Manipulation nicht vollständig fort. Das zeigt: Echtes Robotermanipulation erfordert nicht nur, die Umgebung genau zu sehen, sondern auch Kontaktsignale zu verarbeiten.Kann multimodale Information stabil in die Schleife aus Aktionsplanung und Steuerung eingebunden werden?Das ist der schwierigere Teil. Die Spitzenmannschaften der drei Disziplinen haben jeweils ihre eigenen Stärken und zeigen auf unterschiedlichen Fähigkeitsebenen einzigartige Vorteile. Da die Teilnahme selektiv ist, bleibt abzuwarten, ob es ein Modell gibt, das gleichzeitig in der Videogenerierung, im Strategietraining und in der realen Robotersteuerung eine führende Position erreicht – das ist noch ungeklärt und durchaus vielversprechend.。04
Gespräch mit den Veranstaltern:Wie das „Prüfungsfeld“ für Weltmodelle aufgebaut wurde
Von der einheitlichen Bewertung der Wettbewerbsergebnisse durch mehrere Institutionen bis hin zur Frage, wie die Evaluationseinstellungen Verzerrungen durch einzelne Metriken reduzieren können – hinter der Bewertung von WorldArena 2.0 stecken noch zahlreiche technische und organisatorische Fragen. Das Veranstalterteam der Tsinghua-Universität beantwortete diese Fragen in einem Interview. Das Folgende ist das Wortprotokoll des Gesprächs; AI 科技评论 hat es unter Wahrung des ursprünglichen Sinns gekürzt.Positionierung und Evaluierungsmechanismus von WorldArena
▎AI Tech Review: WorldArena ist heute einer der zentralen Bewertungsbenchmarks für Weltmodelle geworden. Wie sehen Sie diese Anerkennung? Und woher, glauben Sie, kommt diese Anerkennung hauptsächlich?
Veranstalter:Diese Anerkennung geht hauptsächlich auf das gemeinsame Bedürfnis von Wissenschaft und Industrie zurück:Man benötigt eine Bewertungsmethode, um zu beurteilen, ob die von einem Weltmodell vorhergesagte Zukunft dem Roboter tatsächlich bei der Ausführung von Aktionen helfen kann. Für die verkörperte Intelligenz (Embodied AI) muss man prüfen, ob das Modell auf Aktionsbefehle genau reagiert, ob die vorhergesagten Bewegungen den physikalischen Gesetzen entsprechen und ob es Policy-Lernen und echte Ausführung unterstützen kann. Diese Fähigkeiten lassen sich kaum allein durch das Anschauen von Videos beurteilen; dafür sind spezielle Tests erforderlich. WorldArena 1.0 hat diese Probleme in Testabläufe umgewandelt, die nach einheitlichen Standards durchgeführt werden können, und in 2.0 wurden Online-Verstärkungslernen (Reinforcement Learning) und Interaktionen mit echten Robotern hinzugefügt, um zusätzlichdie Simulation-zu-Realität-Übertragung (Sim2Real) und die Closed-Loop-Rückkopplung zu untersuchen. Für uns hat ein Benchmark nur dann langfristigen Wert, wenn er Forschern und Praktikern hilft, die wesentlichen Probleme eines Modells zu finden, seine Stärken und Schwächen zu erklären und darauf aufbauend die Methoden zu verbessern.▎AI科技评论：WorldArena umfasst zahlreiche Institutionen wie Tsinghua, Peking-Universität, CMU, Stanford, Princeton, Universität Hongkong, NUS und das Institut für Automatisierung der Chinesischen Akademie der Wissenschaften. Welche Rolle spielt das ausrichtende Tsinghua-Team konkret?
Ausrichter: Das Tsinghua-Team ist hauptsächlich für die Forschung, Gestaltung und Entwicklung des Bewertungsrahmens sowie für die Wettbewerbsbewertung und die Pflege der Open-Source-Community verantwortlich.Dieser Benchmark deckt alles von der Videogenerierung bis zur Bedienung realer Roboter ab und erfordert erhebliche Investitionen in Software, Hardware, Rechenleistung und Personal; das kann ein einzelnes Team kaum leisten, daher müssen mehrere Institutionen zusammenarbeiten. Die konkreten Arbeiten umfassenden Aufbau der Bewertungsabläufe、die standardisierte Verarbeitung eingereichter Codes、die Anbindung ortsübergreifender Remote-Inferenzdienste、die Wartung des verteilten Bewertungsclusterssowiedie Prüfung und Zusammenfassung der Ergebnisse. In der Realrobot-Sparte müssen zudem mit den Partnern der Roboterplattformen die Anpassung der Hardwareschnittstellen, die Buchung von Testzeiten und die Vor-Ort-Organisation des Betriebs abgestimmt werden.▎AI科技评论：Gibt es bei der Koordination mehrerer Institutionen Probleme? Können Sie ein oder zwei konkrete Beispiele nennen?
Ausrichter:Zwei Schwierigkeiten sind besonders hervorzuheben:Zum einen: Wie kann man in unterschiedlichen Rechenumgebungen sicherstellen, dass die Bewertungsergebnisse reproduzierbar sind；Zum anderen: Wie lassen sich die Roboterausstattung und das Personal an verschiedenen Orten koordinieren?So kann beispielsweise derselbe Evaluierungscode auf Grafikkarten unterschiedlicher Architekturen wie NVIDIA und AMD zu feinen Abweichungen in den Ergebnissen führen, wenn die zugrunde liegenden Operator-Implementierungen und Umgebungsabhängigkeiten nicht sorgfältig aufeinander abgestimmt sind. Daher ist eine Anpassung an verschiedene Hardware-Umgebungen, eine Vereinheitlichung der zugrunde liegenden Konfiguration und anschließend eine gebündelte Überprüfung erforderlich, um Plattformunterschiede nicht fälschlich als Unterschiede in den Modellfähigkeiten zu werten. Eine Evaluierung auf echten Geräten umfasst zudem Standorte, Gerätezustände und Personaleinsatzplanung in verschiedenen Regionen und erfordert speziell auf die jeweiligen Roboter abgestimmte Aufgaben- und Datenerfassungsprozesse. Auch ferngesteuerte Modelldienste müssen mit millisekundengenauer zeitlicher Abstimmung mit der lokalen Ausführung zusammenwirken; Schnittstellenprotokolle, physikalische Anfangsbedingungen und Ausführungsprotokolle müssen alle klar dokumentiert sein.▎AI-Tech-Review: Die Bewertungsdimensionen sind sehr zahlreich – welche davon können automatisch bewertet werden, und welche sind auf subjektive Bewertungen durch Experten angewiesen? Wie lässt sich eine einheitliche Bewertung über verschiedene Institutionen und Wettbewerbsbereiche hinweg gewährleisten?
Veranstalter:Die drei Strecken unterscheiden sich im Automatisierungsgrad, je nachdem, ob die Tests Online-Interaktionen und den Betrieb von Vor-Ort-Geräten umfassen.Track 1 bewertet hauptsächlich die Generierungsfähigkeit., die Kennzahlen werden hauptsächlich durch automatisierte Prozesse berechnet, wobei eine manuelle Überprüfung anomaler Ausgaben und verdächtiger Commits beibehalten wird.Track 2 untersucht die iterative Leistung von Reinforcement-Learning-Strategien in World-Model-Umgebungen„… und auch der Automatisierungsgrad des Evaluierungsprozesses ist relativ hoch. Die manuelle Arbeit besteht hauptsächlich darin, die Konnektivität der Dienstaufrufe zu überprüfen und die Interaktionsrechenzeitfenster der einzelnen Teams zu koordinieren.“Track 3 beinhaltet die Bedienung eines echten Geräts…dass Vor-Ort-Personal an der Geräte-Rücksetzung, der Entnahme und Beobachtung, der Behandlung von Anomalien und der Bewertung des Aufgaben Erfolgs mitwirken und durchgehend in Echtzeit mit den teilnehmenden Teams verbunden bleiben muss; beide Seiten bestätigen die Testergebnisse durch Echtzeitkommunikation, und auf dieser Grundlage wird die Erfolgsquote ermittelt. Die Konsistenz wird hauptsächlich dadurch gewährleistet, dass innerhalb einer Wettkampfstrecke einheitliche Regeln gelten. Die Eingabeformate, API-Spezifikationen, Rechenbudgets, Evaluationsmetrik-Versionen und Fehlerbewertungskriterien aller Teams sind identisch. Die verschiedenen Strecken prüfen unterschiedliche Fähigkeiten, sodass die Punkte nicht direkt vergleichbar sind; unser Schwerpunkt…Gewährleistet wird die Einheitlichkeit der Bewertungsbedingungen und Beurteilungskriterien innerhalb jeder Strecke.。▎AI科技评论: Ist die Bestenliste in eine Challenge-Bestenliste und eine alltägliche Bestenliste unterteilt? Was ist der Aktualisierungsmechanismus der alltäglichen Bestenliste? Wie oft wird sie aktualisiert?
Veranstalter:Die Herausforderungs-Rangliste und die alltägliche Forschungs-Rangliste dienen unterschiedlichen Zwecken; auch der Umfang der Veröffentlichung und die Aktualisierungsregelungen unterscheiden sich.Die Challenge-Rangliste dient zur Ermittlung der Wettbewerbsergebnisse und Preise.„, mit klaren Einreichungsfristen, Regeln für das Schließen der Rangliste und einem Überprüfungsprozess für die Auszeichnungen. Um die Fairness des Wettbewerbs zu gewährleisten, sind ein Teil der Testdaten nicht vollständig öffentlich zugänglich. Die Rangliste für die alltägliche Forschung bleibt der akademischen Community langfristig geöffnet; Code und Evaluationsprotokoll sind vollständig quelloffen, sodass Forscher sie lokal wiederverwenden können, um eine kontinuierliche Leistungsreferenz für spätere Algorithmusverbesserungen bereitzustellen.“Die Challenge erhält zwei neue Tracks, um zu prüfen, ob Modelle wirklich ausführen können
▎AI Tech Review: WorldArena 2.0 führt gegenüber 1.0 die Tracks 2 (MB-RL) und 3 (Real-Machine WAM) ein. Wie ist diese Idee entstanden? Warum gerade diese beiden Tracks? Welche Überlegungen stehen dahinter?
Veranstalter:Die Einführung dieser beiden zusätzlichen Wettbewerbskategorien soll dazu dienen,Untersuchung der Rolle des Modells bei Interaktion und realer Ausführung。1.0 lagte den Schwerpunkt auf einer embodiment data engine und der offline evaluation von Strategien und blieb hauptsächlich bei offenen, statischen Tests innerhalb von simulierte Umgebungen. Die Modelle wurden nach der lokalen Feinabstimmung getestet, es fehlte an Echtzeit-Feedback, und sie konnten sich während der Interaktion nicht selbst korrigieren. 2.0 zielt darauf ab, zwei Fähigkeiten weiter zu untersuchen. ErstensGeschlossene InteraktionFähigkeit. Ob eine Strategie die Weltmodelle als Interaktionsumgebung nutzen kann, um im von Modellen erzeugten dynamischen Raum kontinuierlich zu lernen und Trial-and-Error zu betreiben. ZweitensVerkörperte GeneralisierungFähigkeit. Ob die in der Modellsimulation erlernten Fähigkeiten nach der Sim2Real-Übertragung für die Steuerung realer Roboterarme eingesetzt werden können. Der Gedanke dahinter: Ein kohärent generiertes Video bedeutet nicht, dass das Modell zuverlässiges physikalisches Feedback liefern kann; und ein stabiler Betrieb in der Simulation bedeutet nicht, dass die Ausführung auf einem echten Roboter ebenfalls reibungslos funktioniert. Daher ist es notwendig, Online-Interaktion und den Einsatz auf echter Hardware als eigene Wertungskategorien festzulegen.▎AI科技评论: Professor Shang Yu hat in einem früheren Interview mit uns offen die Grenzen des „sim-to-real gap“ der Rangliste eingeräumt. Ist die Track 3 auf echter Hardware eine direkte Antwort auf dieses Problem? Und in welchem Ausmaß kann sie es lösen?
Veranstalter:Die Bewertung auf echter Hardware bezieht die tatsächliche Sensorik, Kontaktbedingungen und den Ausführungsprozess der Geräte in die Tests ein und ergänzt damit die Simulationsforschung. Faktoren wie Schwankungen der Reibung, Lichtstörungen, Verzögerungen bei der Motorsteuerung und Kontakte mit starren Körpern beeinflussen die Ergebnisse von Aufgaben auf echter Hardware. Allerdings sind die von Track 3 derzeit abgedeckten Aufgaben, Umgebungen und Roboterplattformen noch begrenzt; sie werden in Zukunft kontinuierlich erweitert und verbessert.▎AI科技评论: Wird es in Zukunft eine Weiterentwicklung zu WorldArena 3.0 geben? Welche Testdimensionen kämen dann hinzu?
Veranstalter:Bei der Weiterentwicklung von 2.0 sind bereits einige Richtungen erkennbar, die eine weitergehende Erforschung verdienen: hochfrequente und länger andauerndeInteraktion im geschlossenen Regelkreis, nach einem Ausführungsfehler dieSelbstkorrektur, zwischen Robotern unterschiedlicher KonfigurationGeneralisierungstransfersowie bei der PräzisionsmontageFusion taktiler und multimodaler Wahrnehmung。▎AI科技评论：Die Teilnahme ist freiwillig – könnte es dadurch vorkommen, dass sich in einer Kategorie die Starken häufen, während eine andere Kategorie leer bleibt, und so die Gesamtrepräsentativität der Rangliste geschwächt wird?
Veranstalter:Dies hängt mit den technischen Anforderungen, den Entwicklungskosten, den Software- und Hardwarebedingungen, der Iterationszeit usw. zusammen. Jede Disziplin hat ihre eigenen Besonderheiten und spiegelt die Fähigkeiten verschiedener Modelle auf unterschiedlichen Ebenen wider.Porträt des Ranking-Teams: Welcher technische Weg ist besser?
▎AI科技评论: Bei den drei Wettkampfstrecken stammen die jeweiligen Plätze eins und zwei sowohl aus der Industrie- als auch aus der akademischen Welt. Was sind die zentralen Stärken und Schwächen von Industrie- und akademischer Seite bei Innovationen im Bereich der World Models?
Veranstalter:Betrachtet man die Teams der diesjährigen Veranstaltung, so ergänzen sich die Stärken von Universitäten und Unternehmen. Universitätsteams sind eher bereit,moderne Architekturen und neue Zielfunktionen auszuprobieren und dabei flexibel zu explorieren; Unternehmensteams verfügen über mehr Erfahrung beihochwertigen Datenvorräten, der Steuerung großer Rechenkapazitäten und der Systembereitstellung, und ihretechnische Umsetzung im Betriebist stabiler. Das ist unsere Beobachtung zu dieser Veranstaltung und lässt sich nicht direkt auf alle Teams verallgemeinern. Der Wettbewerb hat auch konkreter gemacht, wo beide Seiten noch aufholen müssen. Algorithmische Innovationen müssen in realen technischen Abläufen stabil laufen; wer über Daten- und Rechenleistungsvorteile verfügt, braucht dennoch präzise physikalische Modellierung und klare Problemdefinitionen, um daraus Ergebnisse zu erzielen. Die Verbindung von Forschungs- und Engineering-Kompetenz hilft, den Weg einer Technologie von der Methodenentwicklung bis zur praktischen Anwendung zu verkürzen.▎AI科技评论: Bei den World Models gibt es derzeit insgesamt vier technische Richtungen; die diesjährigen prämierten Teams decken im Wesentlichen JEPA, Spatial Intelligence/strukturiertes 4D und die Pixelgenerierung ab, doch Teams mit dem JEPA-Ansatz scheinen größere Gewinnchancen zu haben: ShiQiFuture holte Platz 1 in Track 1,晨昏线 belegte Platz 2 in Track 2. Wie als Veranstalter deuten Sie dieses Ergebnis?
Veranstalter:In realen Systemen sind die technischen Richtungen nicht vollständig getrennt. Pixelweise autoregressive Generierung, laturäumbasierte Repräsentationslernen, etwa im Sinne der JEPA-Idee, sowie räumliche Topologiemodellierung und explizite Physik-Engines lassen sich im selben System kombinieren, und viele führende Teams verwenden genau solche Mehrmodul-Architekturen. Zudem unterscheiden sich die Teams erheblich bei Modellparameterzahl, Vorverarbeitung der vortrainierten Daten, abstrakten Aktionschnittstellen und Kontrollschleifenfrequenzen. Dieses Ergebnis liefert wertvolle Anhaltspunkte für die weitere Erforschung des verankerungsbezogenen (embodied) Repräsentationslernens.▎AI科技评论: Nachdem Sie so viele Ranking-Wechsel und Wettbewerbsentwicklungen miterlebt haben: Wie weit sind die World Models Ihrer Einschätzung nach heute entwickelt? Wo liegt der größte Engpass?
Veranstalter:Den Testergebnissen der diesjährigen Veranstaltung zufolge verfügen führende World Models in kontrollierten, spezifischen Aufgaben bereits in Ansätzen über die Fähigkeit, auf Handlungskausalitäten zu reagieren und dem nachgelagerten Policy-Lernen gewisse Unterstützung zu bieten. Bei längeren komplexen Interaktionen sowie bei kontaktintensiven realen Robotermanipulationen stoßen World Models aber weiterhin an Grenzen.Modelle können die durch eine Aktion ausgelösten Zustandsübergänge noch nicht hinreichend genau und kontinuierlich abbilden. Kleinere Fehler in der kontinuierlichen Vorhersage werden schrittweise akkumuliert und verstärkt; auf realen Robotern kommen noch millisekundengenaue Aktionslatenzen sowie nichtlineare Kraftrückmeldungen durch Starrkörperkontakte hinzu.Kontinuierliche Weiterentwicklung der Evaluationsmethodenforschung
▎AI科技评论: Herr Shang Yu erwähnte in unserem letzten Interview, „es müsse vermieden werden, dass WorldArena zu einer neuen Pfadabhängigkeit für Modelle wird“ (alle passen ihre Modelle an die Metriken und Aufgaben von WorldArena an, um dort hohe Punktzahlen zu erzielen). Haben Sie im Laufe der beiden Challenge-Auflagen und der laufenden Ranking-Aktualisierungen tatsächlich eine solche Abhängigkeit beobachtet? Wie genau zeigt sie sich?
Veranstalter:Die Optimierung auf öffentliche Regeln hin lässt sich beim Betrieb eines Benchmarks kaum vollständig vermeiden. Uns interessiert, ob höhere Punktzahlen tatsächlich eine Verbesserung der allgemeinen physikalischen Fähigkeiten eines Modells widerspiegeln oder nur eine bessere Anpassung an eine bestimmte Metrik bzw. eine bestimmte Aufgabenklasse. Um Letzteres zu reduzieren, haben wir hauptsächlich drei Dinge unternommen:Wir verfolgen kontinuierlich den Korrelationskoeffizienten zwischen Punktzahlen und dem Erfolg oder Misserfolg in realen physikalischen Aufgabenund kalibrieren Metriken, die hohe Punkte liefern, aber keine realen physikalischen Fähigkeiten widerspiegeln;wir erweitern kontinuierlich die Szenarien und Aufgaben, vergrößern die OOD-Testverteilung und nehmen weitere komplexe Kontaktaufgaben auf;wir behalten einen unabhängigen, abgeschotteten Blindtestdatensatz, dessen entscheidende Testkomponenten streng vertraulich bleiben.▎AI科技评论: Wenn Sie für die nächste Phase von WorldArena ein Ziel festlegen dürften: Welche Probleme soll es vorrangig lösen und welche Rolle soll es einnehmen?
Veranstalter:In der nächsten Phase hoffen wir, den Anwendungsbereich von Modellen in der realen Welt genauer bewerten zu können: Wenn Forscher ein World Model erhalten, sollen sie wissen, in welchen physikalischen Szenarien es zuverlässig ist und unter welchen Bedingungen und in welchen Situationen es leicht versagt. Das weiter gefasste Ziel lautet,dass WorldArena allen hilft, ihre Methoden zu verbessern, damit sich die Fähigkeiten von World Models besser auf reale Szenarien verallgemeinern lassen。Damit sich alle leichter austauschen und Konferenzinformationen weitergeben können, haben wir eigens einen IROS 2026 Teilnehmer-Gruppe für den Austausch! Wenn du der Gruppe beitrittst, schaltest du diese „Vorteile“ frei?
Konferenz-Informationsstation: Einreichungsfristen (DDL), Formatvorgaben, Begutachtungsfortschritt … wichtige Termine werden Ihnen umgehend zugestellt, sodass Sie keine Deadline mehr verpassen und Ihre Einreichung sicher vorbereitet ist.
Fachaustausch-Treffen: Kolleginnen und Kollegen aus allen Regionen sind in der Gruppe, um Erfahrungen auszutauschen, Ideen zu entwickeln und Kontakte aufzubauen – auf dem Weg der Forschung gehen wir gemeinsam.
Grenzwissen-Versorgungsstation: Neueste Forschungsergebnisse und aktuelle Trends werden in Echtzeit geteilt – gemeinsam mit dem Konferenzthema hilft sie dir, den Einreichungsweg zu ordnen und deiner Papier-Idee richtig Kraft zu geben.
Vor-Ort-Support-Team: (ausschließlich während der Konferenz geöffnet):Auch wenn Sie am Veranstaltungsort ankommen, kein Grund zur Panik –
Routennavigation：Verteilung der Veranstaltungsorte, wie man zum Vortragssaal kommt – jederzeit in der Gruppe fragen;
Gemeinsame Lektüre zum Thema„: Beliebte Sessions und Keynote-Diskussionen – auch wenn Sie sie verpasst haben, können Sie sie nachholen;"
Poster-Kompilierung„: Kuratierte Highlights der Veranstaltungsposter auf einen Blick – mit einem Klick speichern und nichts verpassen;“
Yueju-Platz：Essensrunden, Interviewrunden, Austauschrunden … Wer plaudern, zusammenarbeiten oder sich persönlich treffen möchte, kann es einfach in der Gruppe vorschlagen.
? Gruppen-Beitritts-Portal: Scannen Sie den QR-Code, um der Gruppe beizutreten, oder fügen Sie den WeChat-Account Luyoyo_2026 hinzu, mit dem Vermerk: IROS + Einrichtung/Schule + Name + Forschungsrichtung.
In Forschung und Technik ist der Informationsvorsprung entscheidend.
Komm, seien wir allen einen Schritt voraus!
Steigen Sie ein und erleben Sie mit uns die Highlights der weltweit führenden AI-Konferenzen
Exklusiv verfügbar:
Präsentationsfolien der Experten
Vollständige Texte der Konferenzvorträge
Erklärungen zu beliebten Papers
Interviews mit aufstrebenden Wissenschaftstalenten
Scannen Sie den QR-Code oben
oder klicken Sie auf „Read Original“, um den Bereich zu folgen.
Leiiphone (WeChat-Öffentlicher Account: 雷峰网)
Leifeng Wang
Originalartikel von Leifeng Wang; ein Nachdruck ohne Genehmigung ist untersagt. Einzelheiten sieheHinweise zum Nachdruck。