欢迎来到具身AI的时代。
我们正式推出AA-Robotics v0.1,这是我们的研究预览版,用于衡量前沿语言模型在物理世界中的理解、规划和行动能力。在v0.1中,每个模型都被赋予对一只6轴机械臂(5个关节和一个夹爪)的控制权以及一个简单的目标。今天我们发布前八项任务的结果。
我们发现,置于编码代理框架中的前沿语言模型最近已经能够直接操纵机械臂完成简单任务。如今,它们对于任何生产用途来说都太慢、太昂贵——比人类基线差近两个数量级。我们预计这会很快改变。
GPT-6 Astra在AA-Robotics v0.1中位列第一,其次是GPT-6.1 Sol、Gemini 4 Argon和Claude Opus 5.5。
AA-Robotics v0.1详情:
➤ 我们的前八项任务测试一系列能力:控制与灵巧性(精确抓取和物体操作)、空间推理(物体之间如何相互作用)以及适应性(模型如何应对意外情况)
➤ 模型只获得简短的说明:如何连接到机械臂(通过一个简单的HTTP API)、机械臂的名称以及如何提交一次尝试。它们可以通过四个摄像头查看场景,并编写和运行代码来规划并发送动作
➤ 模型提交一次尝试后,其最终状态会根据任务的通过标准进行评分。通过得100分;未完成的尝试获得部分分数。所有尝试均为零样本(Zero-Shot)
主要发现:
➤ GPT系列位居榜首:GPT-6 Astra得69分,领先于得65分的GPT-6.1 Sol和得55分的Gemini 4 Argon。Claude Opus 5.5(49分)和Claude Fable 5.1(46分)落后
➤ 如今的模型在完成我们的任务时非常缓慢,平均每个桌面任务需要约30分钟才能完成
➤ 成本差异巨大:GPT-6.1 Sol最便宜,平均每项任务1.93美元;GPT-6 Astra最贵,成本为16.36美元,是前者的八倍多
➤ 与人类相比,如今表现最好的前沿语言模型慢约100倍,且贵约10倍
更多结果、视频片段以及AA-Robotics v0.1的工作原理请见下方推文串