Etiquetar una hora de video de robot por 72 centavos en lugar de $88 es lo que Nvidia promete con Flora, su motor de datos abierto. Pero la comparación con GPT-6 Astra no es tan desfavorable como sugiere el precio.
Los grandes modelos de IA para robots aprenden de videos que requieren anotaciones textuales, y según el laboratorio de investigación GEAR de Nvidia, esto implica tres tipos de etiquetas. Primero, descripciones de qué acción ocurre en el video, utilizadas para seleccionar los datos de entrenamiento. Segundo, calificaciones sobre cuán bien progresa el robot paso a paso, de modo que pueda aprender mediante ensayo y error. Y tercero, juicios sobre si una tarea se completó con éxito, utilizados para monitorear a los robots durante su implementación. La mayoría de las herramientas existentes solo proporcionan uno de estos tipos. Modelos de lenguaje grandes como GPT-6 Astra pueden generar varios, pero son demasiado costosos para los grandes volúmenes de video involucrados.
Según el artículo, Flora cubre los tres. Nvidia afirma que el sistema ya está en funcionamiento durante el entrenamiento de sus modelos GR00T, anotando hasta 200,000 horas de video al día en 512 GB300 GPUs. Los modelos están disponibles en Hugging Face.
Flora consta de tres modelos Qwen3.5 refinados. Un modelo 9B divide los videos en segmentos de acción, y un modelo 27B los describe teniendo en cuenta lo que ocurrió antes y después de cada acción. Un segundo modelo 27B llamado Flora-Rewarder asume tres roles según el prompt. Evalúa el éxito de una episodio en una escala de 1 a 5, clasifica cada paso de medio segundo como normal, subóptimo o fallido, y asigna puntajes basándose en rúbricas definidas por sí mismo.
Hasta 125 veces más barato según las propias estimaciones de Nvidia
En un test con 50 videos, Flora obtuvo una puntuación ligeramente mejor que GPT-6 Astra según Nvidia, aunque el modelo de OpenAI se permitió utilizar toda su capacidad de razonamiento. Según las estimaciones de Nvidia, etiquetar una hora de video con Flora cuesta aproximadamente 72 centavos, en comparación con unos 88.50 dólares para GPT-6 Astra. Claude Opus 5 obtuvo una puntuación mucho peor en el mismo test y sigue costando alrededor de 42 dólares por hora.
Los datos de costos de Flora son proyecciones, no mediciones de producción. Nvidia los calculó basándose en un precio de alquiler estimado de $10 por GPU por hora.
Flora prefiere las acciones, pero Astra las describe con mayor precisión
En el WGO-Bench público, Flora es la mejor en detectar los límites de acción, pero queda atrás a Astra en el puntaje general y está por debajo de Gemini 3.8 Flash en precisión de descripción pura. Según los investigadores, las ventajas se deben principalmente a la localización temporal.
En el propio test DenseCaptionBench de Nvidia, Flora lidera en todas las métricas para grabaciones humanas, pero en los videos de robots, el modelo queda en segundo lugar, detrás de Astra. También hay un problema metodológico que los investigadores reconocen. GPT-6 Astra evalúa las descripciones, además de ser uno de los modelos sometidos a prueba.
Casi ningún otro modelo detecta los errores en medio del episodio
En RoboRewardBench, la tasa de error de Flora es un 27.8 por ciento más baja que la de Astra. El artículo atribuye esta diferencia a las tareas parcialmente completadas. Cuando un robot solo hace caer una botella en lugar de quitarla de la mesa, Flora otorga 3 de 5 puntos para igualar al referente humano, mientras que Astra recibe solo 1 punto.
Flora-Rewarder capta el 53.3 por ciento de los pasos fallidos en una episodio, mientras que ningún competidor supera el 11.7 por ciento y Astra no capta ninguno. La compensación es que Flora etiqueta falsamente alrededor del 11 por ciento de los pasos normales como errores. Astra sigue liderando en la calificación basada en criterios y en el ranking de trayectoria.
En un video con muchos movimientos rápidos, Flora identifica 34 de las 37 acciones individuales, mientras que Astra solo logra detectar cuatro. Por otro lado, Flora a veces divide acciones más largas en demasiados pasos pequeños y ocasionalmente se equivoca en las descripciones. En un video, una mano robótica limpia un plato con un paño, pero Flora lo describe como doblar un pañuelo.
Nvidia posiciona Flora como una alternativa abierta a los servicios comerciales, como el motor de datos de IA física de Scale AI. Los investigadores pueden usarla para escalar sus propios conjuntos de datos de robótica y probar enfoques como la transferencia de demostraciones humanas a robots. Nvidia está invertiendo miles de millones en modelos de IA abiertos para mantener a los desarrolladores en su ecosistema de hardware y fomentar la demanda por sus chips; Flora también persigue el mismo objetivo.
La compañía también ha estado trabajando durante algún tiempo para compensar la escasez de datos de entrenamiento para robótica a través de simulaciones y procesamiento automatizado de datos. En GTC a principios de este año, Nvidia mostró un flujo de datos que prepara, multiplica y evalúa automáticamente el material de entrenamiento. Flora añade etiquetas detalladas y señales de recompensa del video a ese flujo.
Todo esto se integra en la estrategia de Nvidia para abarcar todo el ciclo de valor de la robótica, desde hardware y datos de entrenamiento hasta simulaciones y los propios modelos de IA. El recién anunciado Gemini 4 Argon de Google apunta a una parte similar del proceso de entrenamiento de robótica, identificando también los pasos de trabajo en los videos de entrenamiento y señalando las acciones fallidas.