Bienvenue dans l’ère de l’IA incarnée.
Nous lançons AA-Robotics v0.1, une version préliminaire de recherche qui mesure les performances des modèles de langage de frontière en matière de compréhension, de planification et d’action dans le monde physique. Dans v0.1, chaque modèle est doté du contrôle d’un bras robotique à 6 axes (5 articulations et une prise), ainsi qu’d’une tâche simple. Nous publions aujourd’hui les résultats pour nos huit premières tâches.
Nous constatons que les modèles de langage frontière dans les agents de codage récemment ont acquis la capacité de manipuler directement les bras robotiques pour des tâches simples. Aujourd’hui, ils sont trop lents et coûteux pour tout type d’utilisation industrielle – presque deux ordres de grandeur inférieurs aux performances humaines. Nous anticipons que cela changera rapidement.
GPT-6 Astra se classe en première position dans AA-Robotics v0.1, suivi par GPT-6.1 Sol, Gemini 4 Argon et Claude Opus 5.5.
Détails de AA-Robotics v0.1 :
➤ Nos premiers huit tâches évaluent une série de capacités : la maîtrise et la agilité (précision dans la prise et le maniement des objets), la raison spatiale (comment les objets interagissent entre eux) et l’adaptabilité (comment les modèles réagissent aux situations inattendues)
➤ Les modèles ne reçoivent que des instructions succinctes : comment se connecter à l’armature robot (via une simple API HTTP), le nom de l’armature et comment soumettre une tentative. Ils peuvent visualiser la scène via quatre caméras et écrire et exécuter du code pour planifier et envoyer des mouvements.
➤ Une fois qu’un modèle soumet une tentative, son état final est évalué en fonction des critères de succès de la tâche. Un succès obtient 100 points ; une tentative incomplète reçoit une part de crédit. Toutes les tentatives obtiennent zéro point.
Résultats clés :
➤ La famille GPT occupe la première place du classement : GPT-6 Astra obtient 69 points, devant GPT-6.1 Sol avec 65 points et Gemini 4 Argon avec 55 points. Claude Opus 5.5 (49) et Claude Fable 5.1 (46) sont en retard.
➤ Les modèles actuels sont incroyablement lents pour nos tâches, prenant en moyenne environ 30 minutes pour accomplir chaque tâche sur la table
➤ Le coût varie largement : GPT-6.1 Sol est le moins cher, à 1,93 dollar par tâche en moyenne ; GPT-6 Astra, le plus cher, coûte 16,36 dollars, soit plus de huit fois le prix.
➤ Par rapport à un humain, les meilleurs modèles de langues frontières d’aujourd’hui sont ~100 fois plus lentes et ~10 fois plus coûteuses
Plus de résultats, de clips et des explications sur le fonctionnement de AA-Robotics v0.1 suivent dans la discussion ci-dessous.