Nvidia의 오픈 데이터 엔진 Flora를 통해 로봇 영상 1시간을 88달러 대신 72센트에 라벨링한다는 것이 그들의 약속입니다. 하지만 GPT-6 Astra와의 비교는 가격표가 나타내는 것만큼 그렇게 불균형하지 않습니다.
로봇용 대규모 AI 모델은 텍스트 주석이 필요한 동영상으로부터 학습합니다. Nvidia의 GEAR 연구실에 따르면, 이를 위해 세 가지 유형의 라벨이 필요합니다. 첫째, 동영상에서 어떤 행동이 일어나는지에 대한 설명으로, 훈련 데이터를 선택하는 데 사용됩니다. 둘째, 로봇이 단계별로 어떻게 발전하는지에 대한 평가로, 실험과 시행착오를 통해 학습할 수 있도록 합니다. 셋째, 작업이 성공적으로 완료되었는지에 대한 판단으로, 배포 중에 로봇을 모니터링하는 데 사용됩니다. 현재 대부분의 도구는 이 중 하나만 제공합니다. GPT-6 Astra과 같은 대규모 언어 모델은 여러 가지 라벨을 생성할 수 있지만, 관련된 방대한 양의 동영상을 처리하기에는 너무 비쌉니다.
논문에 따르면, Flora는 세 가지를 모두 포함합니다. Nvidia는 GR00T 모델의 훈련 과정에서 512GB300 GPU를 사용하여 하루에 최대 200,000시간의 비디오를 주석화하는 시스템이 이미 작동하고 있다고 말합니다. 이 모델들은 Hugging Face에서 이용할 수 있습니다.
Flora는 세 가지 정교화된 Qwen3.5 모델으로 구성됩니다. 9B 모델은 비디오를 액션 세그먼트로 나누고, 27B 모델은 각 액션 이전과 이후에 일어난 사건을 고려하여 그 내용을 설명합니다. Flora-Rewarder라는 두 번째 27B 모델은 프롬프트에 따라 세 가지 역할을 수행합니다. 이 모델은 에피소드의 성공도를 1에서 5까지의 척도로 평가하고, 각 반초 단계를 정상, 부적절, 실패로 분류하며, 자체 정의된 기준에 따라 점수를 부여합니다.
넵티모의 자체 추정에 따르면 125배 더 저렴할 수 있습니다
50개의 비디오를 사용한 테스트에서, Nvidia에 따르면 Flora는 GPT-6 Astra보다 약간 더 좋은 성능을 보였습니다. OpenAI 모델은 전체 추론 능력을 사용할 수 있었음에도 불구하고 말입니다. Nvidia의 추정에 따르면, Flora를 이용해 1시간의 비디오를 라벨링하는 비용은 약 72센트이며, GPT-6 Astra의 경우는 약 $88.50이었습니다. Claude Opus 5는 같은 테스트에서 훨씬 더 나쁜 성능을 보였으며, 여전히 1시간당 약 $42의 비용이 들었습니다.
Flora의 비용 수치는 예측치일 뿐, 실제 생산량에 따른 수치는 아닙니다. Nvidia는 GPU당 시간당 $10의 임대료를 기준으로 이 수치를 계산했습니다.
플로라는 행동을 더 선호하지만, 아스트라는 종종 그것들을 더 정확하게 설명한다
공개된 WGO-Bench에서 Flora는 행동의 경계를 감지하는 데 가장 뛰어나지만, 전체 점수에서는 Astra보다 뒤처지고 순수한 설명 정확도에서는 Gemini 3.8 Flash보다 뒤처집니다. 연구자들에 따르면, 이러한 향상은 주로 시간적 위치 파악 능력에서 비롯됩니다.
Nvidia의 자체 DenseCaptionBench에서 Flora는 인간 기록에 대한 모든 지표에서 선두를 달리고 있지만, 로봇 비디오에서는 Astra에 이어 두 번째입니다. 연구자들도 한 가지 방법론적 문제가 있다고 인정합니다. GPT-6 Astra는 설명을 평가하는 동시에 테스트 대상 모델 중 하나이기도 합니다.
다른 모델들 중 거의 없이 에피소드 중간에 발생하는 오류를 잡는다
RoboRewardBench에서 플로라의 오류율은 아스트라보다 27.8% 낮습니다. 연구 결과에 따르면 이 차이는 일부 완료되지 않은 작업 때문이라고 합니다. 로봇이 테이블에서 병을 떨어뜨리는 대신 그냥 옮기는 경우, 플로라는 인간의 기준에 맞게 5점 중 3점을 주는 반면, 아스트라는 1점만 주합니다.
플로라-리워더는 한 에피소드 내에서 실패한 단계의 53.3%를 감지하는 반면, 다른 경쟁자는 11.7% 이상을 감지하지 못하고 아스트라는 단 하나도 감지하지 못한다. 그 대가로 플로라는 정상적인 단계의 약 11%를 잘못된 것으로 잘못 표시한다. 아스트라는 평가 기준에 기반한 점수와 궤적 순위에서 여전히 선두를 차지한다.
많은 짧은 동작이 포함된 비디오에서 플로라는 37개의 개별 동작 중 34개를 식별했지만, 아스트라는 단지 4개만을 식별했습니다. 반면 플로라는 때때로 긴 동작을 너무 많은 작은 단계로 나누기도 하고, 경우에 따라 설명이 잘못되기도 합니다. 한 비디오에서 로봇 손이 천으로 접시를 닦는 모습이지만, 플로라는 그것을 냅킨을 접는 것으로 설명했습니다.
Nvidia는 Flora를 Scale AI의 물리적 AI 데이터 엔진과 같은 상업적 서비스에 대한 개방형 대안으로 제시합니다. 연구자들은 이를 이용해 자신들의 로봇공학 데이터셋을 확장하고, 인간의 행동을 로봇에게 전달하는 방식을 테스트할 수 있습니다. Nvidia는 개발자가 자사 하드웨어 생태계에 남아 있도록 하고 칩에 대한 수요를 유지하기 위해 개방형 AI 모델에 수십억 달러를 투자하고 있으며, Flora도 같은 목표를 가지고 있습니다.
이 회사는 또한 로보틱스 훈련 데이터의 부족을 시뮬레이션과 자동화된 데이터 처리를 통해 보완하기 위해 오랜 시간 동안 노력해왔다. 올해 초 GTC에서 Nvidia는 훈련 자료를 자동으로 준비하고 곱하며 점수를 매기는 데이터 파이프라인을 선보였다. Flora는 비디오로부터 상세한 레이블과 보상 신호를 그 파이프라인에 추가한다.
이 모든 것이 Nvidia가 하드웨어와 훈련 데이터부터 시뮬레이션 및 AI 모델까지 전체 로봇공학 가치 사슬을 포괄하는 전략에 기여합니다. 구글이 최근 발표한 Gemini 4 Argon도 로봇공학 훈련 과정의 유사한 부분을 목표로 하며, 훈련 비디오 내의 작업 단계를 식별하고 실패한 동작을 지적합니다.