NVIDIA Cosmos 推出新工具，用于训练、评估和部署世界模型

为了帮助开发者快速构建世界模型，从而协助物理 AI系统理解并模拟现实世界，NVIDIA 通过新的训练工具、模拟检查点以及 Cosmos Data Factory 蓝图，对 Cosmos 平台进行了扩展。

在六种不同开放模型排行榜上排名前五的 NVIDIA Cosmos 平台，为全球模型构建者提供前沿开放模型——以及数据、训练和优化工具与方案——帮助他们在部署前扩大训练数据规模、调整模型、测试行为并优化性能。

构建更优质的训练数据

构建世界模型始于多模态、多感官数据。

NVIDIA Cosmos Data Factory 汇集了用于大规模标注、整理、增强和评估数据的工具与技能，以进行物理人工智能训练。Cosmos Curator 这一基于 GPU 加速的解决方案用于整理视频训练数据集，现已支持多模态多感官输入和处理模块。

Cosmos Data Factory 现在提供以下五种云原生蓝图，可通过 GitHub、Microsoft Azure、Nebius 和 CoreWeave 获取：

• 自动驾驶车辆数据集生成：整理并标注驾驶数据，然后添加难以捕捉的场景合成示例，以扩大训练覆盖范围。
• 图像属性增强：改变对象外观以优化图像搜索。
• 事件视频生成：将静态图片转化为罕见或不可靠事件的合成视频。
• 缺陷图像生成：生成用于检测模型的印刷电路板、金属和玻璃缺陷图像。
• 视频数据增强：在保留场景结构的前提下，改变现有视频中的天气和光线效果。

Cosmos Data Factory 利用智能代理技术，加速数据整理、处理以及合成数据生成。

公司们正在使用 Cosmos Data Factory 蓝图，以加快其物理人工智能开发流程。

保时捷正在通过 Microsoft Azure 的 Voxel51 平台，利用 Cosmos Data Factory，在大众集团各品牌之间推进共享自动驾驶数据平台的开发工作。预计这能将重复的物理测试驾驶次数减少高达 90%，开发周期也能缩短至 85%。

保时捷正在使用 Cosmos Data Factory 的 Voxel51 平台，搜索并扩充自动驾驶车辆数据视频片段。

ANYbotics 使用 Cosmos Data Factory 蓝图生成了 1,500 多个合成视频片段，通过 Encord 平台对真实数据进行处理并验证结果，从而训练其工业检测机器人识别设施访问过程中的液体泄漏及其他变化。

任何机器人s 生成异常片段 Encord 由 NVIDIA Cosmos Data Factory 提供支持。

Ultralytics，一家计算机视觉公司，使用真实图像和通过 Cosmos Data Factory 生成的合成缺陷对其 YOLO 模型进行了重新训练，从而提升了缺陷定位和召回率。

训练、适应和优化模型

在准备好训练数据后，开发者可以选择训练自己的架构，也可以直接使用预训练模型。

在 GTC Berlin 上，NVIDIA 将 Cosmos Framework 的培训、优化和部署工具及方法作为“智能体技能”应用于更开放的模型中，同时结合 Cosmos 3，从而帮助世界模型构建者更快地从实验阶段走向部署阶段。

开发者与代理可以现在通过微调和强化学习来适配 GR00T、Alpamayo、QWEN、Pi0.5 以及其他兼容的 Hugging Face 模型，利用蒸馏和量化技术优化模型，并实现高性能推理部署。

为了开发一种专门用于自我中心操控的世界模型，机器人研究实验室 MicroAGI 对 Cosmos 3 进行了基于人类操作物体的视频的再训练，并将其拥有 32 十亿参数的推理器简化为一个拥有 8 十亿参数的 Nano 模型，且准确性没有降低。

开发者可以在 Roboflow 上对 Cosmos 3 进行标注和预训练，以适配特定的环境和任务，然后将这些模型部署到 RoboFlow 托管的或本地 NVIDIA GPU 上，从而将视频推理应用于工厂和仓库。

测试策略并更快运行模型

这些工具之外，NVIDIA还通过开发Cosmos模型来推动基础技术的发展。

新的 Cosmos 3 Nano 模型变体 使得开发者能够在可重复、难以捕捉且包含多视角多传感器的场景中测试自主策略。相关的代码还允许开发者在真实测试之前，通过交互式模拟来适配模型，以训练和评估他们自己的自动驾驶汽车和双手动机器人的策略。

开发者可以使用更新的 NVIDIA Cosmos 3 NIM 微服务来部署 Cosmos 核心模型。在经过验证的配置下，这些服务可让推理速度提高至原来的 2 倍，且质量不会下降；同时，连续视频分析还能实现不到一秒的警报响应。

对于视觉 AI 开发者来说，基于 Cosmos NIM 微服务构建的新版本 NVIDIA Metropolis Blueprint for video search and summarization (VSS) 3.3，可以将一个提示词转化为高效的视频 AI 应用，帮助团队使用相同的 GPU 监控 40% 更多的视频流。

ADNOC 使用由 Cosmos 构建的 Fogsphere MistIQ 代理平台以及 NVIDIA Metropolis VSS Blueprint，在 65 个站点实时检测安全隐患。对于罕见事件，Fogsphere 还使用 Cosmos Data Factory 生成合成训练数据，从而无需实际模拟危险场景即可提升检测效果。

Cosmos 平台是完全可模块化且开放的。开发者可以使用 Cosmos Data Factory 生成训练数据集，Cosmos Framework 来训练和适配世界模型，然后通过 NIM 微服务部署支持的 Cosmos 模型。