La compétition de l’intelligence artificielle dans le domaine de l’intelligence avec corps a atteint un nouveau point de référence. Récemment, la renommée entreprise d’intelligence artificielle Runway a annoncé que son modèle mondial d’actions Praxis-1 de niveau phare est officiellement ouvert au développement et à la recherche mondial, sous une licence Apache2.0 amicale. Non seulement tous les poids du modèle sont mis à disposition, mais les codes de raisonnement et de ajustement sont également mis en open source, offrant un soutien complet pour les utilisations commerciales.
Performance de pointe : architecture MoE avec 27 milliards de paramètres, en tête du classement des robots experts
En tant que Transformer de diffusion MoE avec 27 milliards de paramètres, l’innovation centrale de Praxis-1 réside dans sa capacité à prédire simultanément les vidéos et les actions. Auparavant, Runway avait déjà réussi à mettre en œuvre ce modèle sur des robots humanoïdes à pied, des bras industriels à six axes et des robots de stockage à deux bras, en collaboration avec des partenaires matériels tels que Noble Machines, Standard Bots et Ultra.
Dans le test de référence RoboLab-120, autorité sous NVIDIA, Praxis-1 a montré une puissance de pointe. Au cours de 1 200 tours d’évaluation, son taux de succès global a atteint 46,2 %, dépassant ainsi FLUX3Action (42,9 %), Cosmos3Nano (36,8 %) et π0,5 (28,0 %) parmi les concurrents puissants, se classant en tête du classement des modèles de mouvements.
De plus, lors des tests de migration de la capacité d’agnatisation, après un ajustement léger sur le robot Google RT-1 (qui n’apparaît jamais dans ses données pré-entraînées) , le taux de succès de Praxis-1 dans l’environnement simulé SimplerEnv est monté à 80,0 %, bien plus élevé que les 52,4 % de la stratégie RT-1 originale, ce qui prouve pleinement son avantage concurrentiel et sa capacité d’adaptation entre différentes formes.
Adaptation matérielle et soutien écologique : couvrant du centre de données aux points d’extrémité
Au niveau de la mise en œuvre réelle, Praxis-1 présente une forte capacité d’inclusion matérielle. Il peut s’intégrer profondément dans l’écosystème NVIDIA, en soutenant non seulement les GPU de centres de données haut de gamme tels que les H100 et B200, mais aussi les cartes graphiques de niveau station RTX5090 et RTX PRO6000. Il est même possible de le déployer directement sur des puces d’edge telles que Jetson Thor installées dans les robots.
Pour faciliter l’intégration des développeurs, ce modèle est déjà disponible sur plusieurs plateformes majeures de codage et d’hébergement :
Code et poids d’acquisition : Les développeurs peuvent obtenir le contenu complet via GitHub et Hugging Face, où la version Hugging Face prend en charge nativement LeRobot.
Réflexion et ajustement fin : permettant les appels via vLLM-Omni et Reactor pour la gestion de la réflexion ; tout en supportant l’ajustement complet et LoRA. Les développeurs n’ont pas besoin de réentraîner le modèle complet, ils peuvent facilement l’adapter à leur forme robotique, caméras spécifiques et tâches particulières.
Promouvoir l'ouverture de l'IA physique : l'écosystème open source qui est une tendance majeure
En ce qui concerne les motivations de cette ouverture complète aux sources ouvertes, Runway affirme que pour que les États-Unis restent leaders dans le domaine de l’intelligence artificielle physique, il est nécessaire non seulement d’investir continuellement dans le matériel et le logiciel de base, mais aussi de faire en sorte que les modèles atteignent une interopérabilité et un degré d’ouverture qui n’existent pas encore dans les applications physiques actuelles.
En tant que membre fondateur de la Cosmos Coalition, Runway collabore avec NVIDIA et des partenaires du secteur pour ouvrir un stack technologique de pointe, offrant aux développeurs mondiaux une infrastructure commune afin de surmonter les difficultés techniques dans les domaines de la physique et de l’IA. Actuellement, les développeurs peuvent non seulement télécharger et utiliser ces outils dans les principales communautés open source, mais aussi effectuer un entraînement adapté grâce aux tutoriels intégrés de NeMo Automodel.