将模拟概念转化为实际应用意味着整合资源、连接物理引擎和渲染功能，并确保场景按预期运行。开发者正在结合前沿人工智能模型与 NVIDIA Omniverse 库，以协助完成相关工作——构建用于探索场景、排查故障及优化设计的应用程序。
开发者通过自然语言指令指导人工智能代理，审查结果并指导相关修改。Omniverse 库提供了基于 GPU 的物理模拟、渲染以及传感器仿真功能。
浏览以下项目，了解 GPT-6 Astra 等前沿 AI 模型的实际应用情况，并关注 NVIDIA 团队及整个生态系统中的开发者所创建的新示例。
为仓库环境构建人形模拟器
以第一人称和第三人称视角，体验基于物理学的游戏化人形机器人控制方式。
在自动化仓库任务之前，开发人员需要一个交互式模拟环境，以便探索任务行为并评估工作执行方式。NVIDIA 的 Omniverse 产品经理 Frank DeLise 使用 Astra 将 SimReady 仓库和人形机器人转变为具有第一人称和第三人称视图的交互式模拟器。
DeLise 指示 Astra 连接NVIDIA Omniverse 库用于物理计算（ovphysx）、场景更新（ovstage）、渲染（ovrtx）以及用户界面（ovui）。他还使用 Astra 与 SimReady（simready-foundation）结合，以在模拟中创建物理场景。随后，Astra 生成动画和应用程序代码，从而整合这些功能。
学习如何使用 frontier AI 模型和 NVIDIA Omniverse 库来准备和验证 SimReady 机器人资产。
连接自动驾驶测试工作流
更换场景、传感器或驾驶模型会显著影响自动驾驶车辆的模拟。NVIDIA 模拟技术团队经理 Doyub Kim 要求 Astra 构建从 Zero 到 Alpamayo 的模拟环境，该环境可重复使用，基于旧金山市场街。
金指示 Astra 规划工作流程，然后逐步整合资产创建、流量处理、Omniverse RTX 传感器模拟以及Alpamayo 驾驶功能，并逐一检查各整合环节。最终得到的原型成为了测试平台，用于比较不同模型，并分析场景或传感器变化对驾驶行为的影响。另一项 Cosmos3-Nano 实验则通过录制模拟视频来改变天气和光线条件，从而让金能够对比驾驶模型的响应在不同环境下的表现。
利用传感器差异来创建和优化数字孪生
对比录制的与模拟的相机和激光雷达输出结果，为开发者提供了基于关键性能指标的反馈，以优化场景效果。
为了测试机器人和自动驾驶车辆，开发人员需要了解模拟传感器与真实传感器之间的匹配程度。在 NVIDIA 负责 RTX 传感器验证的 Ashley Reid 的指导下，Astra 和 Claude Fable 5 智能体将 ovrtx 摄像头输出与原始 LiDAR 输出与记录数据进行了对比。这些智能体从零开始创建了两个数字孪生模型，并改进了两个现有的模型。
大约三天的时间里，Reid 引导了一个迭代式工作流程：智能体测量差异，创建或修改 OpenUSD 场景，然后检查结果。相关更改涉及缺失物体、几何形状及材料问题，而接受度则取决于摄像头和 LiDAR 指标。这使得开发人员能够利用测量到的差异来指导场景的创建与改进。
首先使用 OpenUSD 渲染场景 ovrtx 最小化的 Python 示例然后定义一个传感器测量值，以便与记录的数据进行比较。
机器人奥林匹克比赛：通过模拟测试机器人技能
教授机器人新的动作意味着要验证这些动作是否在物理限制下能够正常执行。NVIDIA Omniverse 工程和产品负责人 Tae Kim 使用体育视频和自然语言指令来引导 Astra 构建 Robo Olympics 这一实验项目，该项目旨在测试模拟的 Unitree G1 人类形态体进行体育动作的能力。
在金的指导下，Astra制造了控制器，并通过物理实验对它们进行了优化。Newton Physics Engine模拟了行为，开源框架NVIDIA Warp加速了计算，而ovrtx则渲染了场景和虚拟相机图像。在一项实验中，该机器人在100次模拟试验中中有64次成功跨越了障碍。这些实验为金提供了反馈，帮助他改进机器人的时机和控制性能。
观看 Kim探索建筑模拟内容，使用 Astra 和 NVIDIA Omniverse 库。
使用计算机辅助设计与仿真技术测试机器人拆解过程
在机器人能够拆解产品之前，开发人员需要确定其工具是否能够触及并移除各个部件。NVIDIA 的 OpenUSD 高级产品经理 Jens Jebens 指导 Astra 在 PTC Onshape 中建模汽车悬架，并在 NVIDIA Isaac Sim 中对其进行了配置。
使用 Astra 时，Jebens 探索了计算机辅助设计，并针对通过模拟得到的机器人工具改进进行了研究。该智能体测量了可用空间，然后设计了一个扳手，让机器人能够使用它来拆卸悬挂系统的螺栓。Jebens 报告称，在模拟中成功拆除了一个悬挂组件。这使得设计决策与工具选择与拆卸结果相关联，为机器人策略训练提供了起点。
探索Onshape 导入指南。
将国际空间站引入浏览器中
将 3D 模型转化为应用程序需要连接资源、实时数据以及界面。NVIDIA 的工程总监 Nic Johns 指示 Astra 将 NASA 的资源整合成一个带有遥测功能的 OpenUSD 国际空间站模型。Johns 仅通过一次提示就构建了该应用程序，随后又使用另一个提示将场景切换至地球的白天一侧，从而使地球清晰可见。
该工作流程使用 Blender 进行资产准备，并利用 Omniverse 库进行渲染 (ovrtx)、场景运行以及流媒体传输 (ovstream)。该应用程序将 3D 模型和操作数据引入浏览器中，John 通过提示和修正来指导其开发过程。
将捕获的房间转化为测试环境
数字重建的房间在开发者能够测试交互效果之前，需要可编辑的对象以及准确的物理行为表现。NVIDIA 艾萨克工程应用团队成员 Chirag Majithia 指示 Astra 将立体相机拍摄到的内容转化为可编辑的 OpenUSD 工作室格式。
该工作流程结合了 PyCuSFM、FoundationStereo 和 nvblox 进行重建，通过用户评论来指导物体选择与放置。Astra 负责整合生成的以及由 Blender 创建的资产，并使用 USD Content Agents 来配置物体在模拟中的运动与互动方式。Isaac Sim 则对门和抽屉的碰撞及接触情况进行优化调整。该工作室将捕获的几何数据与互动测试相连，从而更易于检查漏洞与物体行为。
有模拟创意吗？探索一下 NVIDIA Omniverse 库，以使用 AI 代理开始构建。