Willkommen in der Ära der embodied AI.
Wir starten AA-Robotics v0.1, unseren Forschungsvorlauf, der die Leistung eines Grenzsprachmodells in Bezug auf das Verstehen, Planen und Handeln im physischen Weltbereich misst. In v0.1 erhält jedes Modell die Kontrolle über einen 6-Achsen-Roboterarm (5 Gelenke und ein Greifer) sowie ein einfaches Ziel. Wir veröffentlichen heute die Ergebnisse für unsere ersten acht Aufgaben.
Wir stellen fest, dass die Grenzsprachmodellen in den Coding-Agenten kürzlich in der Lage sind, Roboterarme direkt für einfache Aufgaben zu manipulieren. Heute sind sie jedoch zu langsam und teuer für jede Art von Produktionsanwendung – fast zwei Größenordnungen schlechter als die menschlichen Baselines. Wir erwarten, dass sich das schnell ändern wird.
GPT-6 Astra belegt den ersten Platz in AA-Robotics v0.1, gefolgt von GPT-6.1 Sol, Gemini 4 Argon und Claude Opus 5.5.
AA-Robotics v0.1 Details:
➤ Unsere ersten acht Aufgaben testen eine Reihe von Fähigkeiten: Kontrolle und Beweglichkeit (genaues Greifen und Objekthandhabung), räumliches Denken (wie Objekte miteinander interagieren) und Anpassungsfähigkeit (wie Modelle auf Unerwartetes reagieren)
➤ Die Modelle erhalten nur kurze Anweisungen: wie man mit dem Roboterarm verbunden wird (über eine einfache HTTP-API), der Name des Armes und wie man einen Versuch einreicht. Sie können die Szene durch vier Kameras betrachten und Code schreiben sowie ausführen, um Bewegungen zu planen und zu senden
➤ Sobald ein Modell einen Versuch vorbringt, wird sein Endzustand anhand der Passkriterien der Aufgabe bewertet. Ein erfolgreicher Versuch erhält 100 Punkte; ein unvollständiger Versuch erhält einen Teilpunkt. Alle Versuche erhalten null Punkte.
Wichtige Erkenntnisse:
➤ Die GPT-Familie liegt an der Spitze der Rangliste: GPT-6 Astra erreicht 69 Punkte, vor GPT-6.1 Sol mit 65 Punkten und Gemini 4 Argon mit 55 Punkten. Claude Opus 5.5 (49) und Claude Fable 5.1 (46) liegen dahinter.
➤ Die heutigen Modelle sind bei unseren Aufgaben unglaublich langsam, sie benötigen im Durchschnitt etwa 30 Minuten, um jede Tischaufgabe zu erledigen
➤ Die Kosten variieren stark: GPT-6.1 Sol ist am günstigsten mit durchschnittlich 1,93 US-Dollar pro Aufgabe; GPT-6 Astra ist am teuersten und kostet 16,36 US-Dollar – mehr als achtmal so viel.
➤ Im Vergleich zu einem Menschen sind die heutigen am besten performenden Grenzsprachmodellen etwa 100-mal langsamer und etwa 10-mal teurer.
Mehr Ergebnisse, Clips und Informationen darüber, wie AA-Robotics v0.1 funktioniert, folgen im nächsten Thread.