IT之家 Annonce du 21 octobre : le 21 octobre, heure locale, Nvidia a annoncé lors de la conférence GTC Berlin l'extension de la plateforme de développement robotique ouverte Isaac, avec l'ajout d'une plateforme robotique humanoïde de référence, d'un framework d'exécution, d'actifs de simulation et de jeux de données, ainsi que la mise à jour des outils d'apprentissage robotique, couvrant l'ensemble du flux de développement, de la génération de données d'entraînement à la formation en simulation jusqu'au déploiement sur des robots physiques.
Sur le plan matériel, NVIDIA s'est associé à Agile Robots pour présenter une plateforme de référence de robot humanoïde, Agile ONE SN, dont le lancement est prévu au début de 2027.
Cette plateforme est préconfigurée avec NVIDIA Isaac GR00T et équipée de la plateforme de calcul Jetson Thor, et s'adresse principalement à la recherche et au développement en robotique. En intégrant des outils de simulation, d'entraînement et de déploiement, Agile Robots indique que cette plateforme permet de réduire le temps de configuration préalable de ces environnements de plusieurs semaines à quelques jours.
Le fondateur et PDG de NVIDIA, Jensen Huang, a déclaré que la robotique générale se développait rapidement et que le « moment ChatGPT » du domaine de la robotique approchait à grands pas. NVIDIA a indiqué que cette mise à jour vise à fournir aux développeurs des modèles, des données, des outils de simulation et des systèmes de calcul, afin de les aider à appliquer la robotique générale à des scénarios industriels réels.
Le robot humanoïde Agile ONE SN de Agile Robots adopte le corps de robot humanoïde Agile ONE S : il mesure 1,4 mètre, pèse 40 kilogrammes, possède 31 degrés de liberté et une charge utile par bras de 3 kilogrammes. Il est équipé de deux mains dextres à cinq doigts WUJI Hand 2, chacune dotée de 20 degrés de liberté, prenant en charge le contrôle de la force à 1kHz et la perception tactile. Il convient de noter que Reuters rapporte un poids d'environ 34 kilogrammes pour le robot, ce qui diffère des 40 kilogrammes annoncés officiellement par Nvidia ; les informations actuelles ne permettent pas de déterminer la cause de cet écart.
Sur le plan du calcul, l'Agile ONE SN embarque le Jetson Thor de Nvidia, offrant une puissance de calcul FP4 de 2070 TFLOPS et 128 Go de mémoire unifiée. Les capteurs comprennent des caméras au niveau de la tête et des poignets, un lidar et une unité de mesure inertielle, servant à percevoir l'environnement alentour et à permettre l'interaction du robot avec son environnement extérieur.
En matière de sécurité, la plateforme prévoit d'intégrer le protocole de sécurité côté robot au système de sécurité full-stack Halos de Nvidia ; cette intégration reste toutefois à réaliser. Nvidia indique que des instituts de recherche tels que l'Université Stanford et l'ETH Zurich ont manifesté leur intérêt pour l'Agile ONE SN.
Reuters rapporte également qu'Agile Robots prévoit de produire en partenariat avec Nvidia jusqu'à 2000 robots humanoïdes d'ici 2027, destinés à des clients tels que les universités et les laboratoires de recherche des entreprises.
Sur le plan logiciel, Nvidia Isaac Lab 3.0 a été officiellement lancé : ce cadre open source d'apprentissage robotique prend en charge les workflows d'entraînement multi-GPU et peut utiliser des moteurs physiques tels que Newton et PhysX. Ce cadre vise à aider les développeurs à entraîner et à optimiser les politiques robotiques, couvrant différents environnements de calcul, du poste de travail de bureau au centre de données.
IT之家 a noté que Nvidia a également lancé Isaac OS, un cadre d'exécution open source. Construit sur Holoscan, ce cadre sert à connecter les modèles d'IA, les capteurs, les systèmes de contrôle et le matériel robotique, prend en charge la migration d'un environnement de simulation vers un robot physique et offre des capacités d'exécution temps réel déterministe.
Pour la DGX Station, Nvidia a publié en même temps trois workflows de référence open source. Le premier optimise le modèle GR00T 1.7 par apprentissage par renforcement ; le second utilise Isaac Lab pour entraîner des compétences de manipulation dextre ; le troisième recourt à ChatGPT Astra pour effectuer le post-entraînement du modèle de monde Cosmos afin de générer des données d'entraînement synthétiques. Ces workflows visent à aider les développeurs à intégrer les étapes d'apprentissage robotique, de simulation et de génération de données.
Concernant les données, la SimReady Central Library propose plus de 2000 actifs de robots et d'usines utilisables en simulation, couvrant divers équipements robotiques et ressources de scènes industrielles. Le jeu de données Human 1M contient quant à lui diverses activités humaines, des vidéos synchronisées à trois points de vue et des données de suivi de mains en 3D, utilisables pour l'apprentissage robotique et la compréhension des mouvements. Les deux ressources sont disponibles via Hugging Face, la version complète du jeu de données Human 1M étant réservée aux partenaires du Cosmos Coalition.
Nvidia a également présenté plusieurs entreprises adoptant ses outils de développement robotique. ABB Robotics intègre les bibliothèques Omniverse dans RobotStudio HyperReality pour la simulation et le débogage virtuel avant l'installation des systèmes robotiques ; NEURA Robotics utilise pour sa part Isaac Sim et Isaac Lab pour générer des données d'entraînement synthétiques et entraîner des compétences robotiques en environnement simulé. Nvidia indique que des entreprises telles que KUKA, Humanoid, Sereact et Universal Robots adoptent également les technologies liées à sa plateforme robotique ouverte.