The Decoder来源发布时间

Nvidia开源Flora,使机器人视频标注比GPT-6 Astra便宜125倍

以72美分而非88美元标注1小时机器人视频,是Nvidia对其开放数据引擎Flora的承诺。但与GPT-6 Astra的对比并不像价格标签所显示的那样一边倒。

Jonathan Kemper 查看Jonathan Kemper的LinkedIn个人主页 2026年10月25日 Nvidia

以72美分而非88美元标注1小时机器人视频,是Nvidia对其开放数据引擎Flora的承诺。但与GPT-6 Astra的对比并不像价格标签所显示的那样一边倒。

用于机器人的大型AI模型从需要文本注释的视频中学习,根据Nvidia的GEAR研究实验室,这需要三类标签。第一,描述视频中何时发生何种动作,用于选择训练数据。第二,对机器人逐步进展情况的评分,使其能够通过试错学习。第三,对任务是否成功完成的判断,用于在部署期间监控机器人。大多数现有工具只能提供其中一种类型。像 GPT-6 Astra 这样的大型语言模型可以生成多种标签,但对于所涉及的海量视频来说,它们的成本太高。

Flora将视频分解为时间段,描述每个动作,并评估一个回合的执行与结果。| 图片:Nvidia

根据该论文,Flora涵盖了所有三类。Nvidia表示,该系统已经在训练其GR00T模型期间运行,在512块GB300 GPU上每天标注多达200,000小时的视频。这些模型已在 Hugging Face.

上提供。Flora由三个微调的 Qwen3.5模型组成。一个9B模型将视频切分为动作片段,一个27B模型在描述它们时考虑到每个动作之前和之后发生的事情。第二个名为Flora-Rewarder的27B模型根据提示承担三种角色。它以1到5的量表评定一个回合的成功程度,将每个半秒步骤分类为正常、次优或失败,并根据自定义评分标准打分。

一个分割模型和一个字幕模型生成带时间戳的描述,而单个奖励模型生成全部三种类型的评分。| 图片:Nvidia

按Nvidia自己的估算,成本最多便宜125倍

在一项包含50个视频的测试中,Nvidia称Flora的得分略高于GPT-6 Astra,尽管OpenAI的模型被允许使用其全部推理能力。按Nvidia的估算,用Flora标注1小时视频的成本约为72美分,而用GPT-6 Astra则约为88.50美元。 Claude Opus 5 在同一测试中得分差得多,但每小时成本仍约为42美元。

根据Nvidia的数据,Flora在每视频小时0.72美元的成本下达到57.1%的标注质量,而GPT-6 Astra在88.49美元下达到53.7%。| 图片:Nvidia

不过,Flora的成本数据是预测值,而非生产环境测量值。Nvidia是基于假设的每小时每GPU 10美元的租用价格计算得出的。

Flora更善于发现动作,但Astra往往描述得更精确

在公开的WGO-Bench上,Flora最擅长检测动作边界,但在总分上落后于Astra,并且在纯描述准确性方面落后于 Gemini 3.8 Flash 。研究人员表示,这些提升主要来自时间定位。

在Nvidia自己的DenseCaptionBench上,Flora在人类录像的所有指标上均领先,但对于机器人视频,该模型排名第二,落后于Astra。研究人员也承认存在一个方法论问题。GPT-6 Astra既评估这些描述,本身又是被测试的模型之一。

Flora在人类录像、结果评分和逐步评分方面领先,而GPT-6 Astra在WGO-Bench、机器人视频和评分标准评分方面获胜。| 图片:Nvidia

几乎没有其他模型能捕获回合中途的错误

在 RoboRewardBench 上,Flora 的错误率比 Astra 低 27.8%。论文将这一差距归因于部分完成的任务。当机器人只是把瓶子碰倒而不是碰下桌子时,Flora 会给 3 分(满分 5 分)以匹配人类参考,而 Astra 只给 1 分。

Flora-Rewarder 能够捕捉一个回合内53.3%的失败步骤,而没有任何竞争对手超过11.7%,Astra 则一个也捕捉不到。代价是 Flora 会将约11%的正常步骤错误标记为错误。Astra 在基于评分标准的打分和轨迹排序方面仍然领先。

在一个包含许多短促手部动作的视频中,Flora 识别出37个单独动作中的34个,而 Astra 只捕捉到4个。另一方面,Flora 有时会把较长的动作拆分成过多的小步骤,偶尔也会出现描述错误。在一个视频中,机器人手用布擦拭盘子,但 Flora 将其描述为折叠餐巾。

在一个示例回合中,Flora 识别出37个参考动作中的34个,而 GPT-6 Astra 只捕捉到4个。| 图片来源:Nvidia

Nvidia 将 Flora 定位为商业服务(如 Scale AI 的 Physical AI Data Engine)的开源替代方案。研究人员可以用它来扩展自己的机器人数据集,并测试将人类演示迁移到机器人等方法。Nvidia 正在 开放 AI 模型 上投资数十亿美元,以将开发者留在其硬件生态系统中并推动对其芯片的需求,而 Flora 正是服务于同一目标。

该公司一段时间以来也一直在努力通过 仿真和自动化数据处理来弥补机器人训练数据的短缺。在今年早些时候的 GTC 大会上,Nvidia 展示了一条自动准备、倍增和评分训练材料的数据流水线。Flora 在该流水线基础上增加了来自视频的详细标签和奖励信号。

所有这些都服务于 Nvidia 覆盖整个机器人价值链的战略,从硬件和训练数据到仿真以及 AI 模型本身。Google 最近发布的 Gemini 4 Argon 瞄准了机器人训练流程中类似的部分,同样在训练视频中识别工作步骤并标记失败动作。

原始出处

The Decoder

内容说明

原始发布及相关权利归来源方。

机器翻译 · 请以原文为准