Construire des simulations de robotique et des jumeaux numériques haute fidélité jumeaux numériques d'usine d'IA exige plus que des modèles 3D. Les développeurs doivent souvent ajouter des propriétés telles que la géométrie de collision, la masse et le frottement. SimReady Les actifs SimReady sont des modèles 3D préparés avec les propriétés requises pour les flux de travail de simulation, réduisant ainsi ce travail manuel.
SimReady Central Library réunit plus de 2,000 actifs prêts pour la simulation (SimReady) OpenUSD sur Hugging Face, offrant aux développeurs un point de départ gratuit et sans restriction pour les IA physique environnements d'entraînement et les jumeaux numériques d'usine d'IA. La bibliothèque comprend une variété d'actifs d'infrastructure et d'équipements, allant des bras de robot et des pinces aux équipements d'entrepôt, aux racks et à l'infrastructure de refroidissement. Les développeurs peuvent vérifier quelles capacités chaque actif prend en charge, puis combiner des actifs de différents fournisseurs dans une scène.
Les fabricants d'équipements (OEM) peuvent désormais préparer et valider des actifs selon les exigences SimReady et utiliser SimReady Central Library pour atteindre les développeurs et permettre à leurs clients finaux de tester et de simuler des scénarios plus rapidement et d'accélérer la prise de décision. Cela permet aux industries de construire des simulations autour de leurs produits tout en gérant leurs propres jeux de données Hugging Face.
Nous verrons ce qui rend un actif SimReady et comment les OEM contribuent à SimReady Central Library, puis nous montrerons comment les développeurs peuvent utiliser ces actifs pour construire un scénario de préhension et de dépôt robotique et comparer les agencements d'usines d'IA.
Qu'est-ce qui rend un actif SimReady ?
Les actifs SimReady sont des actifs OpenUSD préparés avec les propriétés requises pour les flux de travail de simulation. Un modèle 3D détaillé, tel qu'un fichier CAO, est un point de départ utile. La simulation exige des informations supplémentaires sur la manière dont cet objet doit être interprété et utilisé.
Pour une tâche de manipulation robotique, cela peut inclure la masse de l'objet, sa géométrie de collision et ses propriétés de frottement. Pour les flux de travail d'usine d'IA, cela peut inclure la géométrie des équipements et les métadonnées électriques ou thermiques requises par l'application.
OpenUSD est un cadre ouvert et extensible pour décrire et composer des scènes 3D. L'utilisation de ces scènes pour entraîner et évaluer des machines autonomes nécessite également des informations sur le comportement physique, les collisions et les interactions des capteurs.
SimReady Foundation fournit des spécifications, des profils et des outils de validation qui rendent ces exigences explicites. Un profil définit le regroupement logique des caractéristiques et capacités dont un actif a besoin pour un cas d'utilisation particulier.
Figure 1. SimReady Foundation définit les exigences de représentation des actifs pour des cas d'utilisation de simulation spécifiques, tandis que les bibliothèques de développement aident à préparer et valider les actifs OpenUSD par rapport à ces exigences.
Selon l'actif et le profil, ces caractéristiques peuvent inclure :
| Éléments structurels de l'actif | Ce que cela permet |
|---|---|
| Géométrie de collision et propriétés physiques | Simulation de contact et de physique dans un runtime pris en charge. |
| Structure et limites des articulations | Mouvement de robots articulés et d'équipements. |
| Étiquettes sémantiques | Identification d'objets et données synthétiques annotées. |
| Attributs des matériaux et des capteurs | Rendu et simulation de capteurs associée. |
Pour connaître les exigences associées à chaque cas d'usage de simulation, consultez les exigences et profils de la Fondation SimReady. Les développeurs doivent sélectionner des actifs dans SimReady Central dont les profils correspondent aux besoins de leur flux de travail et les assembler dans une scène OpenUSD.
Pourquoi publier des actifs OEM sur SimReady Central ?
Les OEM peuvent transformer leurs modèles d'équipements CAO en actifs SimReady pour les développeurs qui créent des simulations autour de leurs produits. La bibliothèque SimReady Central rend ces actifs détectables sur Hugging Face, aidant les fabricants à atteindre les équipes qui développent des simulations de robotique et des jumeaux numériques d'usines d'IA.
Pour les OEM d'usines d'IA comme Vertiv, la bibliothèque offre un moyen de distribuer des actifs tels que des racks d'équipements d'entrepôt, des baies de serveurs, des équipements de refroidissement et des infrastructures de support pour les jumeaux numériques d'usines d'IA. Les développeurs et les agents de pointe peuvent intégrer ces actifs dans des jumeaux numériques d'usines d'IA en réutilisant la géométrie et les propriétés spécifiées par leurs profils SimReady.
Pour les fabricants OEM de robotique comme Comau, FANUC, Franka Robotics, Robotiq, Standard Botset Universal Robots, la bibliothèque rend les bras robotiques et les préhenseurs découvrables par les équipes qui construisent des environnements d'entraînement et d'évaluation. Les développeurs peuvent combiner ces actifs avec des équipements industriels pour créer des scénarios d'entrepôt et d'usine.
Pour les fournisseurs d'actifs de simulation comme Palatial la bibliothèque présente le NVIDIA Robotics 1K Dataset publié en collaboration avec NVIDIA Robotics, ainsi que des actifs articulés complexes générés à partir de textes, d'images, de scans, de fiches techniques et de fichiers CAD. Les développeurs peuvent créer des actifs et des scènes pour l'entraînement et l'évaluation des robots.
Pour les OEM comme LG Electronics (LGE) qui développent des robots domestiques en plus des appareils électroménagers avec lesquels ils fonctionnent, la bibliothèque offre un moyen de partager des actifs tels que des réfrigérateurs et des lave-vaisselle. Les développeurs peuvent utiliser des actifs informés par l'expérience de LGE dans les domaines de l'électroménager et de la robotique pour construire des environnements de simulation domestique pour l'entraînement des robots, l'évaluation et la génération de données synthétiques.
Pour les fournisseurs de CAD assisté par IA comme ForgeCAD, la bibliothèque met à disposition des accessoires robotiques articulés avec des textures de haute qualité, que les développeurs peuvent utiliser pour construire des environnements destinés à l'entraînement de la perception et de la manipulation des robots, ainsi qu'à la génération de données synthétiques.
Pour contribuer, les OEM peuvent utiliser le SimReady Central submission skill pour valider les actifs par rapport aux profils SimReady pertinents, les empaqueter et les soumettre en vue de leur inclusion dans la bibliothèque.
Figure 2. Les OEM préparent et valident les actifs OpenUSD par rapport aux profils SimReady, puis soumettent l'actif à SimReady Central. Les développeurs et les agents d'IA découvrent les actifs dans la bibliothèque et les utilisent pour construire des environnements de simulation.
Créer des environnements de simulation avec des assets SimReady
SimReady Central offre aux développeurs en robotique et en industrie un point de départ réutilisable pour des cellules robotiques, des environnements industriels et des jumeaux numériques d'usines d'IA. Les développeurs et les agents IA peuvent trouver dans SimReady Central des assets conformes aux profils requis par leurs flux de travail et les assembler en environnements OpenUSD.
Les développeurs peuvent utiliser les assets SimReady pour peupler des environnements d'entraînement d'objets et d'obstacles, puis varier leur placement afin d'évaluer les comportements des robots. Ces environnements peuvent prendre en charge des projets tels que Microduck, un robot open source de Hugging Face et Pollen Robotics.
Figure 3. Les jeux de données d'assets se connectent via SimReady Central sur Hugging Face, en utilisant son service de recherche USD pour prendre en charge les flux de travail Isaac, la recherche dans la bibliothèque SimReady Central et les flux de travail des agents IA.
NVIDIA USD Search alimente la recherche en langage naturel dans la bibliothèque SimReady Central, aidant les développeurs et les agents IA à trouver des assets dans les jeux de données participants. Hugging Face a également intégré USD Search dans la recherche de sa plateforme avec des propriétés USD indexées et des métadonnées de simulation, aidant les agents à découvrir les assets SimReady adaptés à leurs tâches de simulation d'IA physique.
La création assistée par IA offre une autre façon de construire avec ces assets. Les développeurs peuvent utiliser des modèles de pointe comme GPT-6 Astra d'OpenAI, combiné à la recherche d'assets et à des outils de création de scènes, pour construire des environnements à l'aide de la bibliothèque SimReady Central. À partir d'exigences de tâches et de contraintes spatiales, Astra peut aider à trouver des assets appropriés, écrire du code pour assembler une scène et créer des variantes de scénario.
Les OEM peuvent également utiliser Astra pour préparer et affiner les assets OpenUSD par rapport aux exigences de SimReady Foundation avant de les valider et de les soumettre à la bibliothèque.
Créer un scénario robotique de prise et de dépôt
Par exemple, un développeur créant un scénario robotique de prise et de dépôt pourrait commencer avec ce prompt :
En utilisant des assets SimReady de SimReady Central sur Hugging Face, crée un scénario de base de prise et de dépôt en entrepôt dans Isaac Sim avec PhysX.
Utilise nvidia-simready-central.hf.space pour trouver un bras robotique FANUC, une pince Robotiq compatible et des assets d'entrepôt appropriés. Génère le code Python pour assembler la scène et configurer la tâche de prise et de dépôt. Génère le rendu d'un aperçu .mov afin que je puisse examiner les résultats.
Inclus les scripts, les versions des assets et les versions d'exécution afin que je puisse reproduire le scénario.
Dans ce flux de travail, nous attendons d'Astra qu'il fasse ce qui suit :
- Interroger l'API SimReady Search pour trouver des actifs pertinents distribués sur Hugging Face
- Les référencer (Reference/Payload) dans une scène OpenUSD
- Générer du code Python pour assembler le workcell
- Configurer la tâche de prise et de dépôt (pick-and-place)
- Générer un rendu d'aperçu pour examen par l'utilisateur
Figure 4. Un workcell robotique de prise et de dépôt assemblé à partir d'actifs SimReady illustre comment la création de scènes assistée par l'IA peut transformer les exigences des développeurs en un scénario de simulation à examiner et à affiner dans Isaac Sim.
Comparer des agencements de fabrique d'IA
La même approche peut soutenir un ISV (éditeur de logiciels indépendant) construisant un jumeau numérique de fabrique d'IA. La tâche passe des interactions avec les robots au placement des équipements : disposer des racks, des équipements de refroidissement et de l'infrastructure de support dans des contraintes spatiales spécifiées.
En utilisant des actifs SimReady de SimReady Central sur Hugging Face, créer deux agencements alternatifs de fabrique d'IA avec des racks et des équipements de refroidissement.
Utiliser les dimensions d'équipement fournies et les exigences de dégagement des allées. Vérifier les chevauchements d'équipements et les violations de dégagements, et signaler tout problème.
Enregistrer chaque agencement comme une scène OpenUSD. Inclure les scripts de construction de scène, les versions des actifs et les versions d'exécution afin que je puisse reproduire et comparer les résultats.
Dans ce flux de travail, Astra assemblerait les actifs SimReady sélectionnés en deux agencements OpenUSD, puis générerait des scripts pour vérifier les chevauchements d'équipements et les dégagements des allées par rapport aux exigences fournies. Les développeurs pourraient ensuite inspecter les agencements dans leur application de simulation, comparer le placement des équipements et les chemins d'accès, et examiner les problèmes signalés avant de raffiner la configuration préférée.
Figure 5. Un agencement de fabrique d'IA assemblé à partir d'actifs SimReady illustre comment la création de scènes assistée par l'IA prend en charge le placement des équipements, la vérification des dégagements des allées et le raffinement des agencements dans OpenUSD.
Dans l'un ou l'autre exemple, les développeurs peuvent étendre leurs environnements de plusieurs façons :
- Réutiliser l'environnement : Conserver les modifications spécifiques à l'agencement et aux tâches dans des couches OpenUSD séparées afin que les mêmes actifs sources puissent prendre en charge plusieurs expériences.
- Varier les scénarios : Introduire des actifs supplémentaires de la bibliothèque et varier les placements d'objets, les configurations d'équipements ou l'infrastructure environnante pour évaluer différentes conditions.
- Créer des tests spécifiques à l'application : Pour la robotique, configurer des tâches d'entraînement et d'évaluation dans Isaac Lab. Pour les fabriques d'IA, connecter la scène aux données d'équipement et aux outils de simulation nécessaires pour des analyses telles que la distribution de l'énergie ou la performance de refroidissement.
- Transmettre les agencements validés vers les opérations : Pour les fabriques d'IA, connecter la scène à la télémétrie BMS et IT en temps réel pour maintenir le jumeau numérique synchronisé avec l'installation de la fabrique d'IA.
Aider à façonner la prochaine vague d'actifs
La feuille de route de SimReady Central prévoit davantage de partenaires OEM et une bibliothèque d'actifs en croissance, élargissant les équipements et les environnements que les développeurs peuvent assembler à partir de contenu réutilisable.
Les retours de la communauté aideront à identifier les ajouts les plus importants. Dites-nous dans les commentaires quels actifs vous sont nécessaires, quels runtimes vous utilisez et où vous rencontrez des lacunes d'intégration.
Soumettez des actifs OEM pour inclusion dans SimReady Central en utilisant le guide de soumission d'actifs.
Les contributions OEM peuvent élargir le contenu disponible, tandis que les exemples de développeurs peuvent montrer comment les actifs fonctionnent dans différentes applications. Partagez des exemples de ce que vous construisez dans les commentaires et ouvrez un ticket dans SimReady Foundation pour les bugs ou les demandes de fonctionnalités SimReady requirements.
Commencez à construire sur Hugging Face 🤗
Choisissez un actif de la bibliothèque SimReady Central pour votre prochaine simulation de robotique ou votre jumeau numérique de fabrique d'IA. Utilisez les ressources ci-dessous pour trouver des actifs, construire une scène ou contribuer des modèles d'équipement.
Découvrir les ressources
- Trouvez des ressources pour votre tâche : SimReady Central Library sur Hugging Face
- Recherchez en langage naturel : Décrivez les ressources dont vous avez besoin via le point de recherche SimReady Central propulsé par USD Search.
- Créez votre propre navigateur de ressources : Explorez les compétences index-vers-bibliothèque dans le dépôt GitHub SimReady Central.
Construire une scène
- Apprenez à assembler des scènes OpenUSD : Suivez le parcours d'apprentissage gratuit OpenUSD.
- Développez vos compétences en robotique et en jumeaux numériques : Explorez les cours gratuits d'IA physique.
- Créez des simulations de robotique : Commencez avec Isaac Sim et Isaac Lab.
- Construisez des usines d'IA : Commencez avec un flux de travail de jumeau numérique assisté par agent.
Préparez et contribuez du contenu
- Démarrez le processus de contribution OEM : Suivez le guide d'intégration et trouvez les réponses aux FAQ dans la documentation de la SimReady Central Library.
- Choisissez les exigences pour votre actif : Consultez les profils dans SimReady Foundation.
- Préparez les modèles CAD pour la simulation : Utilisez les compétences CAD-to-SimReady.
- Validez, empaquetez et soumettez vos actifs : Suivez la compétence de soumission SimReady Central.
Bonne création, nous avons hâte de voir ce que vous réaliserez !