SenseTime hat gemeinsam mit mehreren Universitäts- und Unternehmensteams für OpenAIs GPT-6-Astra eine große Prüfung speziell zur „Embodied Intelligence“ organisiert. Diese Prüfung wurde breit angelegt – sie umfasst 12 Simulationsevaluierungen und 8 echte Roboterplattformen – mit dem Ziel zu sehen, ob dieses Star-Modell wirklich vom „Gehirn“ auf dem Bildschirm zu Händen und Füßen heranwachsen kann, die auch arbeiten. Das Ergebnis ist etwas peinlich: Wenn man ihm ein wenig „Nachhilfe“ gibt (mit In-Context-Learning und gelockerten Grenzen für die Anzahl der Aktionsschritte), erzielt GPT-6-Astra in zahlreichen traditionellen Embodied-Bewertungen nahezu volle Punktzahl; doch sobald es auf echte Roboter übertragen wird und es um Szenarien geht, die echte Handarbeit verlangen – etwa feinkontaktige Aufgaben oder langwierige Prozesse –, steigt seine Fehlerfrequenz deutlich an.
Das eigentliche Problem liegt nicht darin, „ob es sich bewegen kann“, sondern darin, „ob es weiß, ob es sich richtig bewegt hat“. Die Studie stellt fest, dass GPT-6-Astra bei physischen Operationen häufig den Erfolgszustand falsch einschätzt – es glaubt, etwas ergriffen und richtig abgestellt zu haben, was in Wirklichkeit nicht unbedingt der Fall ist; und einmal auf dem Holzweg, ist die Korrektur äußerst schwierig. Hinzu kommen die erschreckend hohen Kosten für Trial-and-Error bei der Ausführung auf echten Robotern, sodass ein nicht kurzer Weg bleibt, bis es wirklich im Einsatz stehen kann. Das Gesamturteil des Teams lautet: GPT-6-Astra hat die Schwelle zu embodied Fähigkeiten bereits überschritten, ist aber von der Praxisreife noch deutlich entfernt.
Diese Evaluierung hat nebenbei auch die Blase im bestehenden System der Embodied-Evaluierungen selbst zum Platzen gebracht. Das SenseTime-Team ist der Ansicht, dass traditionelle Benchmark-Werte überhöht sind, weil sie zu weit von den tatsächlichen Bedürfnissen in Haushalten entfernt sind; die Evaluierungen sollten stärker in Richtung des Alltagslebens ausgerichtet werden. Als Antwort präsentiert das Team seine eigene Lösung – das SenseNova-RoboRSI-Embodied-System-Framework. Der Kniff dabei: Die Gewichte des Basismodells müssen nicht aktualisiert werden; stattdessen lässt sich der Roboter durch Ausführungs-Feedback „rekursiv selbst evolvieren“ und seine Leistung kontinuierlich optimieren. Dieser Ansatz wurde bereits in mehreren Simulationsevaluierungen bestätigt. Kurz gesagt: Wenn große Modelle in den Prüfungen volle Punktzahl erzielen, in der Realität aber tollpatschig agieren, muss die Branche vielleicht nicht nur an den Modellen arbeiten, sondern auch an dem Lineal, mit dem sie gemessen werden.