欢迎来到具身智能的时代。
我们正式推出 AA-Robotics v0.1,这是我们的研究预览版,用于衡量前沿语言模型在物理世界中的理解、规划和行动能力。在 v0.1 中,每个模型都被赋予对一个 6 轴机械臂(5 个关节和一个夹爪)的控制权以及一个简单目标。我们今天发布首批八个任务的结果。
我们发现,处于编码代理框架中的前沿语言模型近来已经能够直接操纵机械臂完成简单任务。如今,它们对于任何生产用途来说都过于缓慢和昂贵——比人类基线差近两个数量级。我们预计这种情况会迅速改变。
GPT-6 Astra 在 AA-Robotics v0.1 中排名第一,其次是 GPT-6.1 Sol、Gemini 4 Argon 和 Claude Opus 5.5。
AA-Robotics v0.1 详情:
➤ 我们的首批八个任务测试一系列能力:控制与灵巧性(精确抓取和物体操作)、空间推理(物体之间如何相互作用)以及适应性(模型如何应对意外情况)
➤ 模型只会收到简短的说明:如何连接机械臂(通过一个简单的 HTTP API)、机械臂的名称以及如何提交尝试。它们可以通过四个摄像头观察场景,并编写和运行代码来规划并发送动作
➤ 模型提交尝试后,其最终状态会根据任务的通过标准进行评分。通过得 100 分;未完成的尝试获得部分分数。所有尝试均为零样本
主要发现:
➤ GPT 家族位居排行榜榜首:GPT-6 Astra 得分 69,领先于得分 65 的 GPT-6.1 Sol 和得分 55 的 Gemini 4 Argon。Claude Opus 5.5(49)和 Claude Fable 5.1(46)落后
➤ 如今的模型在我们的任务上速度极慢,平均每个桌面任务需要约 30 分钟才能完成
➤ 成本差异巨大:GPT-6.1 Sol 最便宜,平均每任务 1.93 美元;GPT-6 Astra 最贵,成本为 16.36 美元,是其八倍以上
➤ 与人类相比,如今表现最好的前沿语言模型慢约 100 倍,成本高约 10 倍
更多结果、片段以及 AA-Robotics v0.1 的工作原理将在下文线程中呈现。