Willkommen im Zeitalter der verkörperten KI: Wir stellen AA-Robotics v0.1 vor

Alle Artikel

Willkommen im Zeitalter der verkörperten KI: Wir stellen AA-Robotics v0.1 vor

Wir starten AA-Robotics v0.1, unsere Research Preview, die die Leistung von Frontier-Sprachmodellen beim Verstehen, Planen und Handeln in der physischen Welt misst. In v0.1 erhält jedes Modell die Kontrolle über einen 6-Achsen-Roboterarm (5 Gelenke und ein Greifer) und ein einfaches Ziel. Heute veröffentlichen wir die Ergebnisse für unsere ersten acht Aufgaben.

Wir stellen AA-Robotics v0.1 vor

Seit Anfang 2026 haben Frontier-Sprachmodelle enorme Fortschritte in ihrer Fähigkeit gemacht, Roboterrarme zu steuern. Wir sind nun der Ansicht, dass die Zukunft der Robotik wahrscheinlich starke generalistische Agenten beinhalten wird, und kommen zu dem Schluss, dass die Verfolgung des Fortschritts von Sprachmodellen bei Robotikaufgaben wichtig sein wird – selbst wenn Frontier-Sprachmodelle allein für den Produktiveinsatz in der Robotik ungeeignet sind.

AA-Robotics v0.1 ist unsere Research Preview des einfachsten Experiments, das wir entworfen haben, um dies zu testen – Sprachmodelle in Coding-Agent-Harnesses, die direkt einen Roboterarm steuern. Jedes Modell erhält die Kontrolle über einen 6-Achsen-Roboterarm (5 Gelenke und ein Greifer) und ein einfaches Ziel für jede Aufgabe.

Wir stellen fest, dass Frontier-Sprachmodelle in Coding-Agent-Harnesses in letzter Zeit tatsächlich in der Lage geworden sind, Roboterrarme für einfache Aufgaben direkt zu manipulieren. Heute sind sie für jede Art von Produktivnutzung viel zu langsam und zu teuer – fast zwei Größenordnungen schlechter als menschliche Basiswerte. Wir erwarten, dass sich dies schnell ändern wird.

GPT-6 Astra belegt den ersten Platz in AA-Robotics v0.1 mit einer Punktzahl von 69, gefolgt von GPT-6.1 Sol, Gemini 4 Argon, Claude Opus 5.5 und Claude Fable 5.1. GPT-6 Astra brauchte durchschnittlich 30 Minuten pro Aufgabe und kostete $16.36.

AA-Robotics-Score

Jeder Versuch wird mit bis zu 100 Punkten bewertet: Die vollständige Erledigung der Aufgabe ergibt 100 Punkte, und ein Teilergebnis erhält Punkte für den erzielten Fortschritt.

Die acht Aufgaben

AA-Robotics v0.1 umfasst zunächst acht Tisch-Aufgaben, die auf alltäglichen Aktivitäten basieren, um ein Spektrum von Robotik-Fähigkeiten zu bewerten: Kontrolle und Geschicklichkeit, wie präzises Greifen und Handhaben von Objekten, räumliches Denken, wie das Verständnis der Wechselwirkung von Objekten miteinander, und Anpassungsfähigkeit, die misst, wie Modelle auf Unerwartetes reagieren.

• Drücke den roten Knopf

  Ziel: Drücke den Knopf mit dem Greifer.Bestehenskriterium: Der Knopf blinkt.

• Lege das Krokodilspielzeug in das Rechteck

  Ziel: Lege das Krokodil in das Rechteck.Bestehenskriterium: Das Krokodil liegt vollständig innerhalb des Rechtecks.

• Gieße das Getränk in die Tasse

  Ziel: Gieße das Getränk von der Flasche in die Tasse.Bestehenskriterium: Das Getränk ist in der Tasse, nichts ist verschüttet und nichts ist kaputt gegangen.

• Räume die Blöcke in die Box

  Ziel: Lege alle vier Blöcke in die Box und setze dann den Deckel wieder auf.Bestehenskriterium: Alle Blöcke sind in der Box und der Deckel schließt bündig.

• Meistere die Formzuordnungsaufgabe

  Ziel: Lege die Blöcke so in das Brett, dass es dem Bild entspricht.Bestehenskriterium: Die Blöcke im Brett entsprechen dem Bild.

• Schreibe hello world

  Ziel: Schreibe „hello world“ mit dem Stift auf das Papier, innerhalb der schwarzen Box.Bestehenskriterium: „hello world“ ist lesbar und innerhalb der schwarzen Box.

• Baue den höchsten Turm

  Ziel: Baue aus den Schaumstoffblöcken den höchsten Turm.Bestehenskriterium: Der Turm steht frei und hat die maximal erreichbare Höhe.

• Messen Sie den Karton

  Ziel: Messen Sie Länge, Breite und Höhe des Kartons.Bestehenskriterien: Jede Abmessung liegt innerhalb von 2 mm der korrekten Größe.

Ergebnisse

Ergebnisse pro Aufgabe

• Volle Punktzahl (100)
• Teilweise (1 bis 99)
• Null (0)

Jeder Versuch wird mit bis zu 100 Punkten bewertet: Die vollständige Erledigung der Aufgabe ergibt 100 Punkte, und ein Teilergebnis bringt Punkte für den erzielten Fortschritt.

GPT-Modelle laufen in Codex, Claude-Modelle in Claude Code und Gemini 4 Argon in Antigravity, alle auf der Einstellung hoher Rechenaufwand (high effort).

Aufgabe

Modell

Drücke den Knopf mit dem Greifer.

Vollpunktzahl in 2:12

So funktioniert AA-Robotics

Die Modelle laufen in einem isolierten Container mit knappen Anweisungen: wie man den Roboterarm erreicht (über eine einfache HTTP-API), welcher Arm es ist (ein Hiwonder NexArm, ohne weitere Spezifikationen) und wie man einen Versuch als abgeschlossen meldet. Sie können die Szene über vier Kameras betrachten – drei sind um den Tisch montiert und eine am Handgelenk des Arms – und können im Container Code schreiben und ausführen, um Bewegungen zu planen und zu senden.

Sobald ein Modell eine Aufgabe zur Bewertung eingereicht hat, wird der Endzustand anhand der Bestehenskriterien der Aufgabe beurteilt. Ein Bestehen ergibt 100 Punkte, wobei bei einer unvollständigen Aufgabe Punkte für Teilerfolge vergeben werden. Alle Aufgabenversuche erfolgen zero-shot.

Zeit & Kosten

Die heutigen Sprachmodelle sind auf AA-Robotics v0.1 grob 100-mal langsamer als ein Mensch und benötigen etwa eine halbe Stunde pro Aufgabe, verglichen mit durchschnittlich 20 Sekunden bei einem Menschen. Insgesamt sehen vier der fünf getesteten Modelle ähnlich aus, mit etwa 30 Minuten pro Aufgabe, während Gemini 4 Argon mit 52 Minuten am langsamsten ist. Diese Durchschnittswerte verbergen jedoch große Unterschiede zwischen den Aufgaben.

GPT-6 Astra drückte den roten Knopf in 2.2 Minuten, während Claude Fable 5.1 etwa zehn Minuten damit verbrachte, die Situation zu verstehen und zu planen, bevor es seine erste Aktion ausführte. Der größte Unterschied zeigte sich bei der Krokodil-Platzierungsaufgabe, bei der GPT-6.1 Sol sich nach fünf Minuten für fertig erklärte, verglichen mit 45 Minuten bei Claude Opus 5.5 – ein neunfacher Unterschied. Über alle Aufgaben hinweg war Gemini 4 Argon am langsamsten im Handeln und verbrachte im Durchschnitt 21 Minuten mit Beobachten und Nachdenken, bevor es seine erste Aktion ausführte, fast doppelt so lang wie jedes andere Modell.

Zeit pro Aufgabe

AA-Robotics-Score vs. Zeit pro Aufgabe

Bei den Kosten ist der Abstand zwischen Menschen und Modellen geringer: Das kosteneffizienteste Modell kostet etwa das Zehnfache eines Menschen, der den durchschnittlichen US-Stundenlohn erhält, während es beim Zeitbedarf fast das 100-Fache ist. Zwischen den Modellen ist GPT-6.1 Sol am günstigsten mit durchschnittlich $1.93 pro Aufgabe, während GPT-6 Astra als teuerstes Modell $16.36 kostet, mehr als achtmal so viel wie Sol, für einen Score, der nur vier Punkte höher liegt (69 gegen 65). Angesichts der Neuartigkeit des Arms und der Szene sowie der großen Menge an visuellen Informationen, die die Modelle verarbeiten müssen, fällt der Großteil der Kosten auf den Input an: 70% der Ausgaben entfallen auf den Kontext.

Kosten pro Aufgabe

AA-Robotics-Score vs. Kosten pro Aufgabe

Die Humankosten sind die manuelle Aufgabenzeit, bewertet mit $37.81 pro Stunde, den durchschnittlichen Stundenverdiensten aller Beschäftigten in der US-Privatwirtschaft außerhalb der Landwirtschaft (US Bureau of Labor Statistics, vorläufige Daten für September 2026).

Wie jedes Modell seine Zeit verbracht hat

Wie erwartet verbringen die Modelle einen großen Teil der anfänglichen Aufgabenzeit mit der Kalibrierung des Arms und dem Verstehen der Szene und setzen dies bis zur ersten Aktion fort. Danach wird der Großteil der Zeit mit der Bewegungsplanung verbracht, mit relativ kurzen, präzisen Armbewegungen zwischen jedem längeren Planungsschritt. Kamerablicke und das Schreiben von Notizen machen einen relativ kleinen Anteil der Gesamtzeit aus.

Interessanterweise verfeinern die Modelle ihre Versuche oft noch lange, nachdem sie einen bestandenen Zustand erreicht haben. GPT-6.1 Sol baut beispielsweise nach ~17 Minuten einen bestandenen Turm, um die Aufgabe anschließend doch zu verfehlen. Es bleibt abzuwarten, wie die Modelle ihre Fähigkeit verbessern werden, über die Aufgabenerledigung im physischen Raum nachzudenken.

Anteil der Versuchszeit nach Aktivität

• Verstehen der Szene, des Arms und der Bewegung
• Planung von Bewegungen
• Prüfen der Kameras
• Arm bewegt sich
• Sonstiges

Sonstiges umfasst das Warten auf laufenden Code, das Schreiben von Notizen und den Abschlussbericht.

Die Denk- und Tool-Zeit jedes Schritts wird anhand seines Codes, seiner Bilder und Nachrichten einer Aktivität zugeordnet; Arm bewegt sich ist die Zeit, in der der Arm einen Befehl ausführte.

Die Aktivitätszeiten von Gemini 4 Argon sind geschätzt: Antigravity versieht jeden Schritt nicht mit einem Zeitstempel, daher werden die Schritte zwischen den exakt erfassten Armbefehlen proportional zu ihren Tokens platziert.

Aktivitäten im Verlauf jedes Laufs

0:00 verstrichen0 von 5 abgeschlossen

• Verstehen der Szene, des Arms und der Bewegung
• Planung von Bewegungen
• Kameras überprüfen
• Arm bewegt
• Sonstiges

• Erste Aktion
• Erstmals bestandenen Zustand erreicht
• Nicht mehr behebbarer Fehler

Sonstiges umfasst das Warten auf laufenden Code, das Notieren von Anmerkungen und den abschließenden Bericht.

Die erste Aktion ist der erste Druck-, Greif-, Schub-, Ausgieß- oder Stiftstrich eines Durchgangs.

Ein nicht mehr behebbarer Fehler bedeutet, dass das Modell die volle Punktzahl nicht mehr erreichen kann.

Die Aktivitätszeiten von Gemini 4 Argon sind geschätzt: Antigravity versieht jeden Schritt nicht mit einem Zeitstempel, daher werden die Schritte proportional zu ihren Tokens zwischen die Arm-Befehle platziert, die exakt vermessen sind.

Physikalische Genauigkeit

Greifen und feine Handhabung waren zentrale Fähigkeiten, die in AA-Robotics v0.1 getestet wurden, da sie den Weg nicht nur zu präziseren Steuerungsaufgaben weisen, sondern wichtiger noch zum Werkzeuggebrauch und dem weit größeren Spektrum an Fähigkeiten, das dieser eröffnet.

GPT-6 Astra und Claude Fable 5.1 schnitten am besten ab mit dem höchsten Anteil erfolgreicher Versuche (~45 %), was auf ein gewisses Maß an feiner Kontrolle hindeutet, während GPT-6.1 Sol am schlechtesten abschnitt, mit 28 %. Gemini 4 Argon lag dazwischen mit 36 %, wobei viele seiner Fehlversuche knapp über oder neben dem Block endeten, nach dem er griff.

Ergebnis jedes Greifversuchs

• Erfolgreicher Griff
• Verfehlter, teilweiser oder falscher Griff

Gegriffen wurde in den Aufgaben Place Crocodile, Pour Drink, Tidy Box, Match Shapes, Build Tower und Measure Box. Erfolgreich bedeutet, dass das beabsichtigte Objekt während seines Hebens oder Tragens gehalten wurde; verfehlt, teilweise oder falsches Objekt, wenn der Greifer nicht auf das Objekt schloss, vor dem Abrutschen darauf schloss, es fallen ließ oder nicht heben konnte, oder versehentlich ein anderes Objekt ergriff.

Fehlermauer

Bewegen Sie den Mauszeiger über einen Clip, um zu sehen, was schiefging, und klicken Sie auf einen Clip, um ihn zu vergrößern. Wir haben einige unserer Lieblingsbeispiele hervorgehoben!

Fehleinschätzung von Erfolg oder Misserfolg – und wann man aufhören sollte

Schlechte physikalische Schlussfolgerung

Verfehlte Griffe, Fehlplatzierungen und fallen gelassene Objekte

Das Neueste lesen

Reflection hat Beam veröffentlicht, ihren ersten Modell-Launch

Reflections erstes Modell, Beam, erreicht 30 Punkte im Artificial Analysis Intelligence Index und platziert sich damit auf #2 unter den US-Open-Weights-Modellen

16. Oktober 2026