In letzter Zeit erreichte das VLM-Agent-Framework EchoPolicy-0 unter der Flagge von Magic Atom, das für die allgemeine Robotersteuerung verwendet wird, auf der neuesten Liste des globalen, autoritativen MolmoSpaces-Benchmarks für Zero-Sample-Artifizielle Intelligenz, initiert von dem AI2-Institut für künstliche Intelligenz, mit einer durchschnittlichen Erfolgsrate von 75.4% bei der Robotersteuerung den ersten Platz weltweit, und umfasst alle 4 v1-Übungen.
Unter derselben Liste und derselben Gruppe erreichte das von Magic Atom entwickelte intelligente Agent-Framework MagicBrain mit einer Parametergröße von 3,4 B auf Platz vier weltweit in der MolmoSpaces Combined-Liste, mit einer durchschnittlichen Erfolgsrate bei Robotik-Operationen von 72,4 %. Seine Erfolgsrate für das Erfassen von Daten beträgt 94,4 %, was weit über dem Branchenmittel liegt.
Die MolmoSpaces-Liste ist der am weitesten verbreitete, vertrauenswürdige Null-Sample-Teststandard im Bereich der embodied Intelligence weltweit und richtet sich an Operationen, Navigation und längere embodied Aufgaben. Das MolmoSpaces-Ökosystem umfasst mehr als 230.000 Innenumgebungen und etwa 130.000 Objekt-Assets, was eine reiche Quelle für Variationen für die Tests bietet. Roboter müssen Situationen überstehen, die über eine feste Demonstrationsumgebung hinausgehen, Ziele unter unterschiedlichen Hintergründen, geometrischen Strukturen und Objektverteilungen finden und Aufgaben entsprechend den lokalen Bedingungen erledigen.
Gleichzeitig enthält MolmoSpaces bewegliche starre Objekte und interaktive Objekte mit Gelenken. Der Roboter muss nicht nur das Ziel in der Bildaufnahme finden, sondern auch den Zustand der Objekte durch echten simulierten Kontakt verändern, um die Arbeitsaufgaben des Roboters eine echte Herausforderung zu machen.
Die Benchmarks von MolmoSpaces geben klar die Ausgangssituation, die Konfigurationen der Roboter und Kameras, die Aufgabenbefehle und die Erfolgsbedingungen an. Die vollständige Liste, die einheitliche Punktzahl und die öffentlichen Ergebnisse können die einzelnen Demonstrationen in vergleichbare Daten verwandeln. Die vier Aufgaben, an denen das Magic Atom EchoPolicy-0- und das MagicBrain-Framework teilnehmen, umfassen jeweils das Greifen freier Objekte, die Interaktion mit beweglichen Objekten und mehrstufige Operationen. Sie untersuchen von verschiedenen Seiten die Systemfähigkeiten des Agent-Frameworks für embodied Intelligence, anstatt nur einen einzelnen Indikator zu betrachten.
Seit 2026 geht die embodied Intelligence von der Demonstrationsphase in die reale Produktion über, und der Wettbewerb konzentriert sich auf das „Gehirn“ der Roboter – die großen Modelle der embodied Intelligence. Mit der schnellen Verbesserung der Bewegungssteuerungsfähigkeiten von Robotern werden die Körper der Roboter flexibler und widerstandsfähiger, und die praktischen Anwendungen des Gehirns entwickeln sich ebenfalls schnell mit dem Öffnen der Grenzen des Körpers. Entsprechend orientieren sich die Marktforschungen auf die Frage: Wie komplexere Aufgaben erledigt werden können und wie man schnell neue Aufgaben erlernen kann. Die Bewertung von MolmoSpaces konzentriert sich ebenfalls auf die Generalisierungsfähigkeit der großen Modelle der embodied Intelligence.
Der Leiter des MagicLab Studio, dem Forschungslabor für magische Atome, sagte: „Bei der Wahl der Strategie für den körperbasierten Gehirnansatz akzeptieren wir die hierarchische Architektur und erkennen, dass die Fähigkeit zur Einhaltung von Anweisungen eine Herausforderung für das aktuelle Modell bei allgemeinen Aufgaben ist. EchoPolicy sichert die Fähigkeit zur Einhaltung von Anweisungen durch das Agent-Framework und die Trajektraktionsbewertung; MagicBrain optimiert die Einhaltung von Anweisungen durch end-to-end visuelle Steuerung – beide Methoden haben gute Ergebnisse erzielt.“
EchoPolicy-0 ：Lassen Sie den Roboter mehrere Aufgaben gleichzeitig erledigen, indem er eine gemeinsame Denk- und Handlungsweise verwendet
Um eine Aufgabe zu erledigen, muss der Roboter die sprachlichen Ziele, die visuelle Beobachtungen und die physischen Handlungen kontinuierlich miteinander verbinden. Zum Beispiel muss er nachdem er ein Objekt gefangen hat, bestimmen, ob es wirklich sicher ist; bevor er die Tür eines Schranks öffnet, muss er einen interaktiven Platz finden; wenn eine Handlung nicht den gewünschten Erfolg erzielt, muss der Roboter seinen Plan entsprechend anpassen.
Diese Aktionen scheinen unterschiedlich zu sein, aber sie gehören zu den gemeinsamen Problemen, mit denen Roboter der embodied Intelligence bei verschiedenen Aufgaben konfrontiert sind: Wo ist das Ziel, was ist der aktuelle Zustand, welche Fähigkeit sollte aufgerufen werden, ob die Aktion ihren Zweck erreicht hat und wie man nach einem Scheitern weitermacht.
Das MagicLab Studio umfasst diese gemeinsamen Probleme zwischen den Aufgaben und organisiert das visuelle Sprachmodell, die geometrischen Verarbeitungstools sowie die allgemeinen Handlungsstrategien in einem einheitlichen VLM-Agent-Framework EchoPolicy-0. Dadurch entsteht ein geschlossener Kreislauf zwischen der Beobachtung des Umfelds, der Erkenntnis des Ziels, der Entscheidungsfähigkeit, der Ausführung von Handlungen und der Überprüfung der Ergebnisse. Unterschiedliche Aufgaben nutzen dieses System, während die konkreten Bewegungen und Interaktionen von den entsprechenden Ausführern erledigt werden.
Der Leiter der Entwicklung des EchoPolicy-0-Frameworks sagte: „Die Allgemeingültigkeit von EchoPolicy-0 zeigt sich darin, dass Fähigkeiten einheitlich aufgerufen, kombiniert und verifiziert werden können. Die aktuelle Version von EchoPolicy-0 wurde bereits auf der Franka-Monopräparierplattform für vier Arten von Operationen validiert.“
Bei der Verwendung von VLA führt das MagicLab Studio das VLM-Zielführungs-Multi-Candidate-Trajectory-Selection ein: Der Aktionsmodell vorschlägt zunächst mehrere mögliche Bewegungen, projiziert die Kandidaten auf die Bildfläche und wählt anschließend den passenderen Trajectory basierend auf dem von VLM festgelegten Ziel. Nach der Ausführung erfolgt eine kontinuierliche Überprüfung. Die höhere visuelle Verständnisbeteiligung ist somit an die niedrigere Aktionswahl geknüpft, und nicht nur an die Aufteilung der Aufgabe.
Das EchoPolicy-0-Framework hat 3915 vollständige Tests bei den vier Aufgaben von MolmoSpaces durchgeführt und eine durchschnittliche Erfolgsrate von 75,4% für alle vier Aufgaben erreicht. Am 13. Oktober 2026 belegt es den ersten Platz in der MolmoSpaces Combined-Liste.
Das MagicLab Studio betrachtet die vier Tests des EchoPolicy-0-Frameworks auf MolmoSpaces als eine systematische Überprüfung eines einheitlichen Frameworks und nutzt die Ergebnisse pro Spielabschnitt, um weitere Iterationen zu leiten. EchoPolicy-0 zeigt einen Systemweg für die allgemeine Robotersteuerung. Das Unified Agent-Framework kann verschiedene Arten von Handlungsfähigkeiten organisieren: Der VLM Agent organisiert semantische Ziele und Task-Status, geometrische Werkzeuge bieten überprüfbare räumliche Interaktionen, allgemeine Bewegungsstrategien erzeugen Kandidaten, die durch VLM-Ziele gesteuerte Pfadauswahl-Beschränkungen für die Handlungsrichtung vorbereiten, und eine kontinuierliche Überprüfung verbindet sie zusammen.
EchoPolicy-0 beantwortet für Szenarien der Implementierung von embodied Intelligence-Modellen eine Frage: Wie kann sichergestellt werden, dass die von dem Modell vorgeschlagenen Aktionen die richtige sind? Es ändert die Eingaben des Modells nicht, sondern filtert in den vielen Kandidaten-Aktionen, die das Modell anbietet, eine besser passende aus den visuellen Zielen heraus und verifiziert diese kontinuierlich nach der Ausführung. Für den Abwärts-Kunden liegt der Wert dieser Methode nicht im einzelnen Erfolgsrate – wenn eine neue Aufgabe hinzukommt, muss kein neues System von Grund auf aufgebaut werden, sondern man kann die Fähigkeiten einfach in denselben Rahmen integrieren.
Entwickeltes Gehirn: MagicBrain ermöglicht es den Modellen, „sichtbar“ zu werden – von der „Präsentationen verfügbar“ bis zur „Produktionslinie verfügbar“.
Das Körper-basierte Intelligenz-Agent-Framework MagicBrain stammt von dem magischen Atom MagicLab Studio. Bei den vier Aufgaben des Abrufs, des Platzierens, des Öffens und Schließens in MolmoSpaces hat MagicBrain 3915 vollständige Tests durchgeführt. Die durchschnittliche Erfolgsrate der vier v1-Aufgaben belegt den vierten Platz weltweit. Bei den Aufgaben des Abrufs (Pick-v1) und des Platzierens (Pick & Place-v1) erreichte MagicBrain jeweils den ersten Platz in der Weltliste dieser Aufgaben, und die Erfolgsrate für den Abruf-Aufgabe war sogar 94,4%.
Visual-Linguistische-Aktions-Modelle (VLA) sind eine besonders beachtete Modellarchitektur im Bereich embodied Intelligence. Die Fähigkeit des Modells, Sprache zu folgen, ist seit langem ein gemeinsames Problem in der Branche. Das Ermöglichen, dass das Modell Anweisungen wie „Den Apfel in den Korb packen“ ausführt, beinhaltet zwei schwierige Aufgaben: Zuerst muss es das Substantiv „Apfel“ verstehen, anschließend muss es auf pixelarer Ebene erkennen, welcher Pixel der „Apfel“ ist.
Im Entwicklungs- und Testprozess von MagicLab Studio wurde festgestellt, dass bei Misserfolgen der Erfassungsversuche die meisten Fälle nicht auf instabile Handlungsebene beruhen, sondern auf falsche Objekte oder falsche Positionen. Mit anderen Worten: VLA ist in der Handlungserkennung bereits stark, aber das eigentliche Problem liegt darin, Nominalphrasen in die Bildbereiche zu binden – dies ist auch der Teil des Trainingssignals, der am wenigsten dicht ist – man versucht, „Apfel“ zu erfassen, doch es wird stattdessen „Birne“ erfasst. Das Problem liegt nicht in den Händen, sondern in den Augen.
Tatsächlich ist die Fähigkeit des VLA, visuelle Signale zu folgen, stärker als die Fähigkeit, Sprachanweisungen zu befolgen: „Sprechverständnis“ ist das Schwächepunkt des VLA, „Bildverständnis“ ist das Stärkepunkt. Deshalb verwendet MagicBrain eine Technik namens In-Context Visual Guidance, wobei der VLA nur die Bewegungen ausführt und die Suche nach Zielen dem besser geeigneten VLM Agent überlässt.
In Zukunft kann diese visuelle Leittechnologie auch in weitere Szenarien wie Interaktion übertragen werden – schließlich ist es nicht nur für das Greifen geeignet, wenn man dem Modell etwas zeichnet, was man sehen soll. MagicBrain bietet einen effizienteren Aufgabenverteilungsmodus. Die Sprache beschreibt „was zu tun ist“, die Pixel beschreiben „wer und wo“, und beide Informationsquellen werden den jeweils geeigneten Modelltypen übergeben. Es werden keine neuen Modellstrukturen eingeführt und keine größeren Parameteranzahln verwendet; lediglich die Übertragungswege der Informationen werden neu angeordnet.
„Wir ermöglichen es der Sprache im VLA, weiterhin ‚zu sehen‘ und zu wissen, was man sehen soll“, sagte der Leiter des MagicLab Studio. Diese Technikstrategie verlässt sich nicht auf die Erhöhung der Parametergröße, um die Leistung großer Modelle zu verbessern. Die Parametergröße des in dieser Bewertung teilnehmenden Modells beträgt lediglich 3,4 B.
Das bedeutet, dass jede Gruppe mit Grundfähigkeiten für Daten kostengünstig replizierbar ist und auch ohne große Modelgrößen Vorteile erzielen kann – auf dem Weg zur Skalierung von embodied Intelligence könnte das Arbeitsmodell „Kombination statt Alles“ viel realistischer sein als das „Ein Modell für alles“.
Auf Branchenebene hat das Magic Atom eine wichtige Frage beantwortet: Ob die VLA tatsächlich kosteneffizient und nutzbar ist. Das Greifen und Platzieren sind die häufigsten Grundaktionen, durch die körperbasierte Intelligenz aus dem Labor in reale Situationen gelangt – in Fabriken für Sortierung, im Lagerhaltung und bei Haushaltsorganisation. Der Anstieg des Greifgeschicks von 70 % auf 94,4 % bedeutet, dass die VLA sich vom „Demonstrieren der Verwendbarkeit“ dem Grenzwert der „Verwendbarkeit auf der Produktionslinie“ nähert. Für die Branche führt jeder Anstieg des Erfolgsgrads dazu, dass die möglichen kommerziellen Anwendungsbereiche erweitert werden.
Philosophie des Designs des „Körperbezogenen Gehirns“ der magischen Atome
„Wir haben auf der MolmoSpaces-Liste den ersten Platz weltweit belegt, aber was Magic Atom wirklich interessiert, ist das eigentliche Problem dahinter: Wie sollte das Gehirn eines embodied KI-Roboters aussehen und wo soll es sich befinden?“ sagte der Leiter von MagicLab Studio.
Die magische Atom glaubt, dass embodied Intelligence entlang einer hierarchisch kooperierenden Technikweise voranschreiten sollte: Das oberste Modell ist für das Verstehen, Planen und Korrektur verantwortlich, während das untere Modell dafür sorgt, dass die Aufgabenintentionen in zuverlässige physische Handlungen umgewandelt werden.
Das Obermodell muss die visuelle Verständnis, die Aufteilung von Aufgaben, Planungsentscheidungen, Fehlerkorrektur und das Gedächtnismanagement übernehmen. Derzeit hat das fortschrittliche Grundmodell bereits eine gute Basis in diesen Bereichen, aber es ist noch notwendig, es an die räumlichen Beziehungen, physikalischen Einschränkungen und kontinuierlichen Interaktionen in situationsbezogenen Szenarien anzupassen. Der oben genannte Verantwortliche ist der Ansicht, dass die Branche in der kurzen Zeit den Fokus auf den Aufbau von Harnessen legen sollte, die um Modelle laufen, und dabei das Kontextmanagement, die Tool-Aufrufe, die Ausführungsfeedback sowie die Bewertungsmechanismen organisieren. Zudem sollten iterative Optimierungen durch Feedback gesteuert werden, einschließlich der RSI-Richtung. In der langfristigen Perspektive sollte auf Daten aus echten Szenarien basierende selbstständige Training und Nachtrainings abgelegt werden, um schrittweise die Verständnis- und Entscheidungsfähigkeit des Modells selbst zu stärken.
Der Verantwortliche sagte, dass das Erfüllen des Grundmodells für die Erzeugung von Aktionen und die Ausführung der Kontrolle mit VLA, WAM oder einer anderen hybriden Architektur erfolgen kann. Die Architekturentscheidung sollte den tatsächlichen Aufgaben dienen, wobei das Einhalten der Anweisungen, die Genauigkeit der Aktionen, die Ausführungsgeschwindigkeit und die Generalisierbarkeit im Vordergrund stehen.
Derzeit wird die Schichtenarchitektur im Branchenbereich bereits weitgehend diskutiert, doch eine wichtige Frage bleibt unbeantwortet: Wie können die Aufgaben der oberen Ebene genau verstanden und stabil ausgeführt werden?
MagicLab Studio hat in Experimenten festgestellt, dass die bestehenden Handlungsmodelle in Situationen außerhalb der Normalverteilung (OOD) weiterhin zu Fehlern bei der Zielauswahl und zu Verzerrungen im Verständnis der räumlichen Einschränkungen kommen können. Deshalb hat das Team zwei komplementäre Lösungsansätze ausprobiert.
Die erste ist die EchoPolicy-0, die den ersten Platz in der MolmoSpaces-Liste belegt hat. Durch Agentenplanung, Kandidatenauswahl und闭环-Überprüfung wird die Übereinstimmung zwischen Ausführung und Anweisungen verbessert. Dabei teilt das oberste Modell die Aufgabe in klare Unterziele auf, das System bewertet mehrere Kandidaten-Aktionen, die vom unteren Modell generiert werden, und wählt denjenigen aus, der besser zu den aktuellen Anweisungen passt. Nach der Ausführung wird aufgrund neuer Beobachtungen die Entwicklung beurteilt und entschieden, ob weitergeführt, wiederholt, neu geplant oder zurückgegangen werden soll, sowie gegebenenfalls geometrische Tools herangezogen werden, um bestimmte Operationen durchzuführen.
Der Vorteil dieser Techniklinie besteht darin, dass man die Aufgabefähigkeit bestehender Modelle schnell verbessern kann, indem man durch Verbesserungen der Planung, Auswahl und Validierung-Mechanismen Iterationen durchführt, ohne das Grundmodell neu zu trainieren.
Die Idee von MagicBrain besteht darin, durch explizite visuelle Anleitung und entsprechende Training, die Fähigkeit zur Zielanpassung in der Phase der Bewegungserstellung zu verbessern.
Ein besonders erwähnenswerter Aspekt ist das visuelle Leitmechanismus zwischen den Ebenen. MagicBrain injiziert die von der oberen Ebene erkannten Interaktionsziele, Platzbereiche und kurze Bewegungshistorie in die Beobachtungen des unteren Modells in Form von visuellen Markierungen, sodass die Aufgabenabsicht direkt mit der konkreten Position im Bild korreliert. Diese Methode erfordert keine Änderung der Netzwerkarchitektur von VLA; durch eine zusätzliche Nachtrainierung lernt das Modell, die visuellen Markierungen mit der semantischen Bedeutung und dem Verhalten zu verbinden, wodurch die Unklarheiten bei der Verwendung nur sprachlicher Anweisungen verringert werden.
Die beiden Ansätze wirken jeweils in den Bereichen „Aktionen erzeugen“ und „ Ausführen, Auswählen, Überprüfen“ und sind stark komplementär: die visuelle Leitung unterstützt das Erzeugen von Aktionen, die den Zielen entsprechen, während die Agentverwaltung für die Auswahl, Ausführung, Überprüfung und Korrektur zuständig ist.
Dieses Mal gewann EchoPolicy-0 den ersten Platz, MagicBrain den vierten, und die Wirksamkeit beider Wege wurde bestätigt.
Wenn es um die Zukunft geht, sagt der Magische Atom: „In der nächsten Phase werden wir weiterhin die Kombination beider Aspekte untersuchen, um einen vollständigen Feedback-Kreislauf von der Aufgabenverständnis bis zur physischen Ausführung zu schaffen. Wir werden in echte Industrieumgebungen eintreten, die Erfolgsrate der Aufgaben, die Betriebstabilität und die Deploymentkosten kontinuierlich testen sowie währenddessen die Daten- und Modellplattform weiter verbessern.“ Die getesteten Fähigkeiten werden in wiederverwendbare Fachkomponenten, Standardinterfaces und Lösungen transformiert. Gleichzeitig sammelt das System Daten über Erfolge, Fehler und manuelle Korrekturen. Es wird ein kontinuierlicher Iterationsmechanismus mit „Deployment – Erfassung – Training – Evaluation – Wiederdeployment“ etabliert, um die ingenieurischen Erfahrungen in Fähigkeiten eines Grundmodells zu verwandeln.