欢迎来到具身智能的时代：介绍 AA-Robotics v0.1

所有文章

欢迎来到具身智能的时代：介绍 AA-Robotics v0.1

我们正在推出 AA-Robotics v0.1，这是我们的研究预览版，用于衡量前沿语言模型在理解、规划和对物理世界执行动作方面的表现。在 v0.1 中，每个模型将获得对一个 6 轴机械臂（5 个关节和一个夹爪）的控制权，并被赋予一个简单目标。我们今天将发布首批八个任务的结果。

介绍 AA-Robotics v0.1

自 2026 年初以来，前沿语言模型在控制机械臂的能力方面取得了巨大进展。我们现在认为，机器人技术的未来很可能会涉及强大的通用智能体，并得出结论：跟踪语言模型在机器人任务上的进展将非常重要——即使前沿语言模型本身并不适合生产级机器人应用。

AA-Robotics v0.1 是我们为验证这一观点而设计的最简实验的研究预览版——语言模型在编码智能体框架中直接控制机械臂。每个模型将获得对一个 6 轴机械臂（5 个关节和一个夹爪）的控制权，并被赋予每个任务的一个简单目标。

我们发现，编码智能体框架中的前沿语言模型确实在最近已经能够直接操纵机械臂完成简单任务。如今，对于任何形式的生产用途而言，它们仍然过于缓慢和昂贵——比人类基线差近两个数量级。我们预计这种情况会迅速改变。

GPT-6 Astra 以 69 分位列 AA-Robotics v0.1 第一名，随后是 GPT-6.1 Sol、Gemini 4 Argon、Claude Opus 5.5 和 Claude Fable 5.1。GPT-6 Astra 每个任务平均耗时 30 分钟，成本为 16.36美元。

AA-Robotics 得分

每次尝试的满分为 100 分：完成任务得 100 分，部分完成则根据取得的进展获得相应分数。

八个任务

AA-Robotics v0.1 初期包含八个桌面任务，以日常活动为原型，用于评估一系列机器人能力：控制与灵巧性，例如精确抓取和操作物体；空间推理，例如理解物体之间如何相互作用；以及适应性，衡量模型如何应对意外情况。

• 按下红色按钮

  目标：用夹爪按下按钮。通过标准：按钮闪烁。

• 将鳄鱼玩具放入矩形框内

  目标：将鳄鱼放入矩形框内。通过标准：鳄鱼完全位于矩形框内。

• 将饮料倒入杯中

  目标：将饮料从瓶子倒入杯中。通过标准：饮料在杯中，没有洒出，且没有东西损坏。

• 把积木整理进盒子里

  目标：把全部四块积木放进盒子里，然后盖上盖子。通过标准：所有积木都在盒内且盖子完全盖合。

• 完成形状配对挑战

  目标：将积木放入拼板中，使其与图片相符。通过标准：拼板中的积木与图片相符。

• 写下 hello world

  目标：用记号笔在纸上、黑色方框内写下 “hello world”。通过标准：“hello world” 清晰可读且位于黑色方框内。

• 搭建最高的塔

  目标：用泡沫积木搭建最高的塔。通过标准：塔能够独立站立且达到可达到的最大高度。

• 测量盒子

  目标：测量盒子的长、宽和高。通过标准：每个尺寸与正确尺寸的误差在 2 毫米以内。

结果

每项任务的结果

• 满分（100）
• 部分得分（1 到 99）
• 零分（0）

每次尝试按100分制评分：完成任务得100分，未完成的任务则根据所取得的进展获得部分分数。

GPT 模型在 Codex 中运行，Claude 模型在 Claude Code 中运行，Gemini 4 Argon 在 Antigravity 中运行，均设置为高努力（high effort）模式。

任务

模型

用夹爪按下按钮。

在 2:12 获得满分

AA-Robotics 的工作原理

模型在隔离的容器中运行，并收到简要说明：如何连接机械臂（通过一个简单的 HTTP API）、它是哪只机械臂（一台 Hiwonder NexArm，无更多规格说明），以及如何提交一次尝试并标记为完成。它们可以通过四个摄像头观察场景——三个安装在桌子周围，一个安装在机械臂的手腕上——并且可以在容器中编写和运行代码来规划并发送移动指令。

一旦模型提交任务待审核，最终状态将根据任务的通过标准进行评分。通过得100分，若任务未完成则根据部分成功获得相应分数。所有任务尝试均为零样本（zero-shot）。

时间与成本

在 AA-Robotics v0.1 上，当今的语言模型大约比人类慢100倍，每个任务耗时约半小时，而人类平均仅需20秒。总体来看，测试的五个模型中有四个表现相近，每个任务约30分钟，而 Gemini 4 Argon 最慢，为52分钟。然而，这些平均值掩盖了任务之间的巨大差异。

GPT-6 Astra 在2.2分钟内按下了红色按钮，而 Claude Fable 5.1 则花费了大约十分钟来理解和规划，才做出第一个动作。最大的差异出现在鳄鱼放置任务上，GPT-6.1 Sol 在五分钟后即宣布完成，而 Claude Opus 5.5 则用了45分钟，相差九倍。在所有任务中，Gemini 4 Argon 的行动最慢，在第一个动作前平均花费21分钟进行观察和推理，几乎是其他任何模型的两倍。

每个任务的耗时

AA-Robotics 得分与每个任务耗时对比

在成本方面，人类与模型之间的差距较小：最具成本效益的模型的成本约为按美国平均时薪计酬的人工的十倍，而在时间上则接近100倍。在模型之间，GPT-6.1 Sol 最便宜，平均每个任务1.93美元，而最贵的 GPT-6 Astra 成本为16.36美元，是 Sol 的八倍多，得分却只高四分（69对65）。鉴于机械臂和场景的新颖性，以及模型必须处理的大量视觉信息，大部分成本落在输入上：70% 的支出用于上下文。

每个任务的成本

AA-Robotics 得分与每个任务成本对比

人类成本是按每小时37.81美元定价的手工任务时间，这是美国私营非农企业全体雇员的平均时薪收入（美国劳工统计局，2026年9月初步数据）。

各模型如何分配时间

正如预期的那样，模型在任务初期花费大量时间校准机械臂并理解场景，并持续到采取第一个动作为止。此后，大部分时间用于规划运动，在每次较长的规划步骤之间进行相对短促而精确的机械臂运动。查看摄像头画面和撰写笔记所占的整体时间比例相对较小。

有趣的是，模型在达到通过状态后往往仍会长时间继续尝试。例如，GPT-6.1 Sol 在约17分钟后搭建了一座合格的塔，随后却又使任务失败。模型将如何提升其在物理空间中对任务完成的推理能力，仍有待观察。

按活动划分的尝试时间占比

• 理解场景、机械臂与运动
• 规划运动
• 查看摄像头
• 机械臂移动
• 其他

其他包括等待代码运行、撰写笔记和最终报告。

每个步骤的思考和工具时间会根据其代码、图像和消息分配给某项活动；机械臂移动指机械臂执行指令的时间。

Gemini 4 Argon 的活动时间为估算值：Antigravity 不会为每个步骤添加时间戳，因此步骤按照其 token 数量比例放置在机械臂指令（时间精确记录）之间。

每次运行中的活动

已过时间 0:00已完成 0 / 5

• 理解场景、机械臂与运动
• 规划运动
• 查看摄像机
• 机械臂移动
• 其他

• 首次动作
• 首次达到通过状态
• 不可挽回的错误

“其他”涵盖等待代码运行、撰写笔记以及最终报告。

首次动作是指一次运行中的第一次按压、抓取、推动、倾倒或落笔。

不可挽回的错误是指模型已无法获得满分。

Gemini 4 Argon 的活动时间为估算值：Antigravity 不会为每个步骤打时间戳，因此步骤按其 token 数比例放置在时间被精确记录的机械臂指令之间。

物理准确性

抓取与精细操作是 AA-Robotics v0.1 中需要测试的关键技能，因为它们不仅指明了更精确的控制任务的方向，更重要的是指明了工具使用及其解锁的远为广泛的能力。

GPT-6 Astra 和 Claude Fable 5.1 表现最佳，成功尝试比例最高（约45%），显示出一定程度的近距离控制能力，而 GPT-6.1 Sol 得分最差，为28%。Gemini 4 Argon 以36%居于两者之间，其许多失误是在目标方块正上方或旁边合拢夹爪。

每次抓取尝试的结果

• 成功抓取
• 失误、部分抓取或抓错物体

抓取尝试在放置鳄鱼、倒饮料、整理盒子、匹配形状、搭建塔楼和测量盒子任务中进行。成功的定义是在提起或搬运过程中握住目标物体；失误、部分或抓错物体是指夹爪未合拢在物体上、合拢后物体滑落、掉落或无法提起，或误拿了其他物体。

错误之墙

将鼠标悬停在片段上可查看出错原因，点击片段可放大。我们标注了几个我们最喜欢的例子！

误判成败——以及何时停止

物理推理能力差

抓取失误、放置错误和掉落

阅读最新内容

Reflection 发布其首个模型 Beam

Reflection 的首个模型 Beam 在 Artificial Analysis 智能指数中获得 30 分，在美国开放权重模型中位列第 2

2026年10月16日