Marquer une heure de vidéo robotique à 72 centimes plutôt qu’à 88 dollars, c’est ce que Nvidia promet avec Flora, son moteur de données ouvert. Mais la comparaison avec GPT-6 Astra n’est pas aussi déséquilibrée que ne le suggère le prix.
Les grands modèles d’IA pour robots apprennent à partir de vidéos qui nécessitent des annotations textuelles. Selon le laboratoire de recherche GEAR de Nvidia, trois types de labels sont nécessaires : premièrement, des descriptions des actions qui se produisent dans la vidéo, utilisées pour sélectionner les données d’entraînement ; deuxièmement, des évaluations indiquant dans quelle mesure un robot progresse étape par étape, afin qu’il puisse apprendre par essais et erreurs ; troisièmement, des jugements sur l’échec ou le succès d’une tâche, utilisés pour surveiller les robots lors de leur déploiement. La plupart des outils existants ne fournissent qu’un seul de ces types de labels. Des modèles de langage comme GPT-6 Astra peuvent générer plusieurs types de labels, mais ils sont trop coûteux pour les volumes massifs de vidéos impliqués.
Selon le paper, Flora couvre les trois cas. Nvidia indique que le système fonctionne déjà pendant l’entraînement de ses modèles GR00T, en annotant jusqu’à 200 000 heures de vidéo par jour sur 512 GB300 GPU. Les modèles sont disponibles sur Hugging Face.
Flora se compose de trois modèles Qwen3.5 ajustés avec soin. Un modèle 9B divise les vidéos en segments d’actions, et un modèle 27B les décrit en tenant compte de ce qui s’est passé avant et après chaque action. Un second modèle 27B appelé Flora-Rewarder remplit trois rôles selon le prompt : il évalue le succès d’une épisode sur une échelle de 1 à 5, classe chaque pas de demi-seconde comme normal, suboptimal ou échec, et attribue des scores en fonction de critères définis par lui-même.
Jusqu’à 125 fois moins cher selon les estimations de Nvidia
Dans une expérience comprenant 50 vidéos, Flora a obtenu une performance légèrement meilleure que GPT-6 Astra selon Nvidia, même si le modèle d'OpenAI avait été autorisé à utiliser toute sa capacité de raisonnement. Selon les estimations de Nvidia, l'étiquetage d'une heure de vidéo coûte environ 72 cents avec Flora, contre environ 88,50 dollars pour GPT-6 Astra. Claude Opus 5 a obtenu une performance beaucoup plus mauvaise dans la même expérience et coûte encore environ 42 dollars par heure.
Les chiffres relatifs aux coûts de Flora sont des projections, et non des mesures de production. Nvidia les a calculés en se basant sur un prix de location estimé à 10 dollars par GPU par heure.
Flora trouve que les actions sont meilleures, mais Astra les décrit souvent plus précisément
Sur le WGO-Bench public, Flora est la meilleure pour détecter les limites d’action, mais elle est en retard par rapport à Astra en termes de score global et reste en arrière de Gemini 3.8 Flash en termes d’exactitude de description pure. Selon les chercheurs, les gains proviennent principalement de la localisation temporelle.
Sur le test DenseCaptionBench de Nvidia, Flora est en tête sur toutes les métriques pour les enregistrements humains, mais pour les vidéos de robots, le modèle arrive deuxième derrière Astra. Il y a également une question méthodologique que les chercheurs reconnaissent. GPT-6 Astra évalue les descriptions, et c’est aussi l’un des modèles testés.
Presque aucun autre modèle ne détecte les erreurs à mi-épisode
Sur RoboRewardBench, le taux d’erreur de Flora est de 27,8 % inférieur à celui d’Astra. Le rapport attribue cette différence aux tâches partiellement terminées. Lorsqu’un robot renverse simplement une bouteille plutôt que de la faire tomber de la table, Flora attribue 3 points sur 5 pour correspondre à la référence humaine, tandis qu’Astra ne reçoit qu’un point.
Flora-Rewarder détecte 53,3 % des étapes échouées au cours d’une épisode, tandis que aucun concurrent ne dépasse 11,7 %, et Astra ne détecte pas un seul échec. Le prix à payer est que Flora marque faussement environ 11 % des étapes normales comme des erreurs. Astra reste néanmoins en tête pour la notation basée sur les critères et le classement de trajectoire.
Dans un vidéo contenant de nombreux mouvements brusques, Flora identifie 34 des 37 actions individuelles, tandis qu’Astra ne détecte que quatre. D’un autre côté, Flora parfois divise des actions plus longues en trop de petits étapes et parfois se trompe dans les descriptions. Dans un vidéo, une main robotique essuie une assiette avec un tissu, mais Flora la décrit comme plier un serviette.
Nvidia positionne Flora comme une alternative ouverte aux services commerciaux tels que Scale AI dont moteur de données d’IA physique. Les chercheurs peuvent l’utiliser pour étendre leurs propres jeux de données de robotique et tester des approches telles que la transfert de démonstrations humaines vers les robots. Nvidia investit des milliards dans modèles d’IA ouverts afin de maintenir les développeurs dans son écosystème matériel et de stimuler la demande pour ses puces, et Flora vise le même objectif.
L’entreprise travaille également depuis un certain temps pour compenser la pénurie de données de formation en robotique par le biais de simulations et de traitement automatique des données. Lors du GTC d’early this year, Nvidia a présenté un pipeline de données qui prépare automatiquement, multiplie et évalue les matériaux de formation. Flora ajoute des étiquettes détaillées et des signaux de récompense provenant des vidéos à ce pipeline.
Tout cela s’inscrit dans la stratégie de Nvidia de couvrir l’ensemble de la chaîne de valeur de la robotique, depuis le matériel et les données d’entraînement jusqu’à la simulation et les modèles d’IA eux-mêmes. Le Gemini 4 Argon annoncé récemment par Google cible une partie similaire du processus d’entraînement en robotique, en identifiant également les étapes de travail dans les vidéos d’entraînement et en signalant les actions échouées.