构建机器人仿真和高保真 AI 工厂数字孪生 需要的不仅仅是 3D 模型。开发人员通常需要添加碰撞几何体、质量和摩擦等属性。 SimReady 资产是预先准备好仿真工作流所需属性的 3D 模型,可减少这类手工工作。
SimReady Central Library 汇集了超过 2,000 个仿真就绪(SimReady) OpenUSD 资产,发布在 Hugging Face 上,为开发人员构建 物理 AI 训练环境和 AI 工厂数字孪生提供了一个免费、无需审核的起点。该库包含多种基础设施和设备资产,从机械臂和夹爪到仓库设备、机架和冷却基础设施。开发人员可以查看每个资产支持哪些功能,然后将来自不同供应商的资产组合到一个场景中。
设备制造商(OEM)现在可以按照 SimReady 要求准备和验证资产,并使用 SimReady Central Library 触达开发人员,让他们的最终客户更快地测试和仿真各种场景,从而加速决策。这使各行业能够围绕自己的产品构建仿真,同时管理自己的 Hugging Face 数据集。
我们将介绍什么使资产成为 SimReady 资产,以及 OEM 如何为 SimReady Central Library 做出贡献,然后展示开发人员如何使用这些资产构建 机器人抓取和放置场景 以及 对比 AI 工厂布局.
什么使资产成为 SimReady 资产?
SimReady 资产是预先准备好仿真工作流所需属性的 OpenUSD 资产。详细的 3D 模型(例如 CAD)是一个有用的起点。仿真还需要关于如何解释和使用该物体的额外信息。
对于机器人操作任务,这可能包括物体的质量、碰撞几何体和摩擦属性。对于 AI 工厂工作流,它可能包括设备几何体以及应用所需的电气或热学元数据。
OpenUSD 是一个用于描述和组合 3D 场景的开放、可扩展框架。使用这些场景来训练和评估自主机器还需要关于物理行为、碰撞和传感器交互的信息。
SimReady Foundation 提供了使这些要求明确化的规范、配置文件和验证工具。配置文件定义了资产在特定用例中所需的功能和能力的逻辑分组。
图 1. SimReady Foundation 为特定仿真用例定义资产表示要求,而开发人员库则帮助按照这些要求准备和验证 OpenUSD 资产。
根据资产和配置文件的不同,这些功能可以包括:
| 资产结构元素 | 它所实现的功能 |
|---|---|
| 碰撞几何体和物理属性 | 在受支持的运行时中进行接触和物理仿真。 |
| 关节结构和限制 | 关节机器人和设备移动。 |
| 语义标签 | 对象识别和标注的合成数据。 |
| 材质和传感器属性 | 渲染和支持传感器仿真。 |
有关每个仿真用例相关的要求,请参见 SimReady Foundation 要求和配置文件。开发者应从 SimReady Central 中选择其配置文件与其工作流需求相匹配的资产,并将其组合到 OpenUSD 场景中。
为什么要将 OEM 资产发布到 SimReady Central?
OEM 可以将其 CAD 设备模型转换为 SimReady 资产,供围绕其产品构建仿真的开发者使用。SimReady Central Library 使这些资产可以在 Hugging Face 上被发现,帮助制造商触达正在构建机器人仿真和 AI 工厂数字孪生的团队。
对于 AI 工厂 OEM (例如 Vertiv)而言,该库提供了一条途径,用于分发仓库设备机架、服务器机架、冷却设备以及支持 AI 工厂数字孪生的配套基础设施等资产。开发者和前沿智能体可以将这些资产纳入 AI 工厂数字孪生 中,复用其 SimReady 配置文件所指定的几何结构和属性。
对于 机器人OEM 例如 Comau, FANUC, Franka Robotics, Robotiq, Standard Bots以及 Universal Robots,该资料库使机器臂和夹爪能够被构建训练与评估环境的团队发现。开发者可以将这些资产与工业设备相结合,构建仓库和工厂场景。
对于 仿真资产提供商 例如 Palatial 该资料库收录了 NVIDIA Robotics 1K Dataset ,该数据集是与NVIDIA Robotics合作发布的,此外还包括从文本、图像、扫描件、数据表和CAD生成的复杂铰接资产。开发者可以为机器人训练和评估构建资产和场景。
对于 OEM 例如 LG Electronics (LGE) 这类同时开发家用机器人及其配套家电的公司,该资料库提供了一条共享冰箱和洗碗机等资产的途径。开发者可以利用LGE在家电和机器人领域的经验所提供的资产,为机器人训练、评估和合成数据生成构建家庭仿真环境。
对于 AI辅助CAD提供商 例如 ForgeCAD,该资料库提供了带有高质量纹理的铰接机器人道具,开发者可以用它们构建用于机器人感知与操作训练以及合成数据生成的环境。
为做出贡献,OEM可以使用 SimReady Central提交技能 根据相关的SimReady配置文件验证资产、进行打包,并提交以纳入资料库。
图2。OEM根据SimReady配置文件准备并验证OpenUSD资产,然后将资产提交至SimReady Central。开发者和AI智能体在资料库中发现资产,并用它们构建仿真环境。
使用 SimReady 资产构建仿真环境
SimReady Central 为机器人与工业开发者提供了一个可复用的起点,用于构建机器人工位、工业环境和 AI 工厂数字孪生。开发者与 AI 代理可以在 SimReady Central 中找到符合其工作流所需的配置文件的资产,并将其组合成 OpenUSD 环境。
开发者可以使用 SimReady 资产向训练环境中填充物体和障碍物,然后改变它们的摆放位置来评估机器人行为。这些环境可支持诸如 Microduck(来自 Hugging Face 和 Pollen Robotics 的开源机器人)等项目。
图 3. 资产数据集通过 Hugging Face 上的 SimReady Central 连接,利用其 USD 搜索服务来支持 Isaac 工作流、SimReady Central 库搜索以及 AI 代理工作流。
NVIDIA USD Search 为 SimReady Central Library 中的自然语言搜索提供支持,帮助开发者和 AI 代理在各参与数据集中查找资产。Hugging Face 也已将 USD Search 集成到其平台搜索中,通过索引 USD 属性和仿真元数据,帮助 AI 代理发现适合其物理 AI 仿真任务的 SimReady 资产。
AI 辅助创作提供了使用这些资产进行构建的另一种方式。开发者可以将 OpenAI 的前沿模型 GPT-6 Astra 与资产搜索和场景创作工具相结合,利用 SimReady Central Library 构建环境。给定任务需求和空间约束后,Astra 可以帮助查找合适的资产、编写组装场景的代码,并创建场景变体。
OEM 也可以使用 Astra,根据 SimReady Foundation 要求帮助准备和完善 OpenUSD 资产,然后进行验证并提交到库中。
构建机器人抓取与放置场景
例如,构建机器人抓取与放置场景的开发者可以从以下提示词开始:
使用 Hugging Face 上 SimReady Central 中的 SimReady 资产,在 Isaac Sim 中使用 PhysX 创建一个基本的仓库抓取与放置场景。
使用 nvidia-simready-central.hf.space 查找一台 FANUC 机械臂、一个兼容的 Robotiq 夹爪以及合适的仓库资产。生成用于组装场景并配置抓取与放置任务的 Python 代码。渲染一个 .mov 预览以便我查看结果。
包含脚本、资产版本和运行时版本,以便我能够重现该场景。
在这一工作流中,我们期望 Astra 完成以下工作:
- 查询 SimReady Search API 以查找分布在 Hugging Face 上的相关资产
- 将它们 Reference/Payload 到 OpenUSD stage 中
- 生成 Python 代码来组装工作单元
- 配置 Pick-and-place(抓取与放置)任务
- 渲染预览供用户审核
图 4. 由 SimReady 资产组装而成的机器人抓取与放置工作单元,展示了 AI 辅助场景创建如何将开发者的需求转化为可在 Isaac Sim 中审核与迭代的仿真场景。
比较 AI 工厂布局
同样的方法可以支持 ISV(独立软件供应商)构建 AI 工厂数字孪生。任务从机器人交互转向设备摆放:在指定的空间约束内布置机架、冷却设备和配套基础设施。
使用 Hugging Face 上 SimReady Central 提供的 SimReady 资产,创建两种带有机架和冷却设备的 AI 工厂备选布局。
使用所提供的设备尺寸和通道净空要求。检查设备重叠和净空违规情况,并报告任何问题。
将每个布局保存为 OpenUSD 场景。包含场景构建脚本、资产版本和运行时版本,以便我能复现并比较结果。
在此工作流中,Astra 会将选定的 SimReady 资产组装成两个 OpenUSD 布局,随后生成脚本,根据所提供的要求检查设备重叠和通道净空。开发者随后可以在其仿真应用中查看这些布局,比较设备摆放和访问路径,并在迭代优化首选配置之前审查任何被标记的问题。
图 5. 由 SimReady 资产组装而成的 AI 工厂布局,展示了 AI 辅助场景创建如何在 OpenUSD 中支持设备摆放、通道净空检查和布局迭代。
无论是哪个示例,开发者都可以通过以下几种方式扩展他们的环境:
- 复用环境: 将布局和任务相关的更改保存在独立的 OpenUSD 图层中,使相同的源资产能够支持多个实验。
- 变化场景: 从库中引入更多资产,并改变物体摆放、设备配置或周边基础设施,以评估不同的条件。
- 构建面向应用的测试: 对于机器人领域,在 Isaac Lab 中配置训练和评估任务。对于 AI 工厂,将场景连接到进行电力分配或冷却性能等分析所需的设备数据和仿真工具。
- 将经过验证的布局投入运营: 对于 AI 工厂,将场景连接到实时的 BMS 和 IT 遥测数据,使数字孪生与 AI 工厂设施保持同步。
帮助塑造下一波资产
SimReady Central 的路线图包括更多 OEM 合作伙伴和不断增长的资产库,从而扩展开发者可以用可复用内容组装的设备和环境。
社区反馈将有助于确定哪些新增内容最重要。请在评论中告诉我们你需要哪些资产、你使用哪些运行时,以及你在哪里遇到集成缺口。
使用以下指南提交 OEM 资产以纳入 SimReady Central: 资产提交指南.
OEM 的贡献可以丰富可用内容,而开发者的示例可以展示资产在不同应用中的运作方式。请在评论中分享你所构建内容的示例,并在 SimReady Foundation 中 提交 issue 以报告缺陷或提出 SimReady 要求的功能请求。
开始在 Hugging Face 🤗 上构建
从 SimReady Central Library 中选择一个资产,用于你的下一个机器人仿真或 AI 工厂数字孪生。使用下面的资源来查找资产、构建场景或贡献设备模型。
发现资产
- 为你的任务查找资产: SimReady Central Library (位于 Hugging Face)
- 使用自然语言搜索: 通过以下方式描述你需要的资产 SimReady Central 搜索端点 由以下技术驱动 USD Search.
- 构建你自己的资产浏览器: 探索以下资源中的索引到库技能 SimReady Central GitHub 仓库.
构建场景
- 学习组装 OpenUSD 场景: 跟随免费的 OpenUSD 学习路径.
- 提升您的机器人和数字孪生技能: 探索免费的 物理AI课程.
- 构建机器人仿真: 首先从 Isaac Sim 和 Isaac Lab.
- 构建 AI 工厂: 首先准备一个 agent 辅助的数字孪生工作流.
准备并贡献内容
- 开始OEM贡献流程: 请遵循入门指南,并在其中查找常见问题解答。 SimReady 中央资源库文档.
- 选择您的资产要求: 查看以下个人资料: SimReady 基金会.
- 准备用于仿真的 CAD 模型: 使用 CAD-to-SimReady 技能.
- 验证、打包并提交你的资产: 关注 SimReady Central 提交技能.
祝您构建愉快,我们迫不及待想看到您的作品!