想象一下，在一个实时响应的生成式手术场景中移动 Cadiere 抓钳、夹住胆囊并将其提起。今天，我们迈出下一步，推出 Cosmos3-H-Dreams，凭借我们迄今为止最具说服力的体内影像，将交互式生成式仿真带入临床手术的视觉与操作复杂性之中。
我们的第一个 Cosmos-H-Dreams 版本基于 Cosmos-Predict2.5 构建，将交互式生成式仿真带入 dVRK 桌面缝合——这是手术机器人的基础试验场。作为世界基础模型（WFM），Cosmos-H-Dreams 展示了数值仿真的一种替代方案：它不显式建模场景几何、组织变形和物理交互，而是直接从同步视频和机器人运动学中学习视觉动态，从而实现高真实感的交互式桌面任务仿真。
今天， Cosmos3-H-Dreams 通过在 CMR Surgical Versius 平台上的临床手术过程中录制的视频和机器人运动学数据进行学习，进一步提升了这一能力。据我们所知，这是首个在临床胆囊切除术录制数据上训练、并支持实时运动学控制的生成式手术模拟器。Cosmos3-H-Dreams 由 Cosmos 3 驱动，并通过 NVIDIA 的加速流式推理库 FlashDreams 进行加速，可在单块 NVIDIA RTX PRO 6000 GPU 上交互式运行。
1. 从桌面任务到临床场景
在像 Cosmos-H-Dreams 那样受控的桌面环境中，器械在相对简单的背景下操作。而在人体内部，微小的器械移动就可能影响整个场景：组织在牵拉下伸展、反光发生移动、结构被遮挡、烟雾改变可见度。给定一张初始图像和提供的工具动作，生成式模拟器必须在生成每一新视频块时捕捉这些响应，同时保持解剖结构和器械的一致性。微小误差会随时间累积，逐渐改变器械几何形状或解剖结构，因此时间一致性至关重要。
因此，视觉真实感只是验证的起点，而非生物力学准确性的证明。生成的场景还必须遵循控制指令：平移、旋转和夹爪指令应产生连贯的解剖学后果。一个看似合理却无视这些指令的推演无法作为交互环境使用。
在实时控制环路中保持这种保真度和响应性需要低延迟生成。Cosmos3-H-Dreams 通过一个专为临床胆囊切除术特化并经蒸馏实现实时生成的模型来应对这一场景，将动作条件交互带入包含复杂解剖结构、组织运动和遮挡的场景中。
2. Cosmos3-H-Dreams 有哪些新内容？
2.1 Cosmos 3 基础与更丰富的手术控制
Cosmos3-H-Dreams 基于 Cosmos3-H-Embodied-Nano，一个 16 十亿参数的模型，预训练于 Open-H-Embodiment，并在精选的胆囊切除术视频和运动学数据上对双向教师模型进行专门化。样本选择针对两把可见且处于操作状态的器械——左侧 Cadiere 抓钳和右侧单极钩，并限制相机指令以强调器械驱动的交互。
该模型使用 28 个动作维度：双臂的位姿和夹爪信息，外加能量控制、摇杆轴和摇杆按钮。训练使用 832 x 480 的视频，动作以 10 Hz 对齐；该采样率不同于运行时生成吞吐量。
2.2 从教师到四步和两步学生模型
Cosmos3-H-Dreams 将专为长自回归推演设计的教师-学生训练管线与通过 FlashDreams 实现的加速流式推理相结合。
我们首先在 24 个未来帧上适配双向教师模型，然后将预测范围扩展到 72 帧，即在 10 Hz 下的 2.4 秒和 7.2 秒。这使教师模型能够在更长的序列上学习手术动态。
接下来，蒸馏将双向教师模型转化为因果学生模型，该模型可以在新动作到来时以短块形式生成视频。因果教师强制（Causal teacher forcing）利用录制上下文为学生模型的顺序生成做好准备。随后 Self-Forcing 让模型在自身生成的上下文上进行训练，并由教师模型和一个学习到的评论家模型加以引导。这有助于解决交互式推演过程中的误差累积问题。
首个发布的学生模型在每个生成块上使用四步去噪。随后，我们以两步调度对该学生模型进一步训练，产出第二个发布检查点。两步模型是单独训练的，而非简单地以更少采样步数运行四步模型。
更少的去噪步数可以加快推理速度，但会降低视觉质量。两个检查点都让开发者可以探索视觉质量与推理成本之间的平衡。
2.3 通过 FlashDreams 实现流式生成
FlashDreams 提供加速的流式运行时。长序列生成（rollout）还需要管理模型的注意力历史。Cosmos3-H-Dreams 集成使用了一个经过适配的 FadeMem 模块，在长序列生成过程中整合不断增长的键/值缓存。这与 Self-Forcing 相辅相成：蒸馏解决的是模型如何从其生成的历史中学习，而缓存整合解决的是这些历史在流式生成过程中如何存储。
3. 探索未见过的轨迹
在临床手术过程中可能出现并发症，或者外科医生有空间执行“新颖”的动作。因此，模拟器必须能够泛化到训练数据之外，并针对未见过的动作生成连贯的帧。下面的演示展示了 Cosmos3-H-Dreams 根据用 VR 头显记录的器械动作条件生成不同的胆囊切除术场景。
两个视频从相同的初始帧开始，但遵循不同的动作序列，说明器械控制如何导致同一场景产生不同的延续，同时保持物理上准确的组织形变。
此外，这些序列生成让我们能够检查器械是否遵循控制指令、组织是否对交互产生连贯的响应，以及解剖结构和器械外观是否随时间保持一致。
4. 适配你自己的数据和控制器
Cosmos3-H-Dreams 包含针对胆囊切除术的四步和两步检查点。该系统可以通过同步视频和兼容的动作表示适配到其他数据集和实体形态。要在你自己的数据集上训练实时学生模型，我们在 分步指南中提供了教师微调和 Self-Forcing 蒸馏的完整方案。其中描述了数据准备、公开的教师训练工具以及蒸馏阶段。控制器集成必须使用与训练时相同的动作约定和归一化方式。
5. 下一步计划
视觉真实感方面的进展开辟了多个研究方向：
- 建模完整手术流程。 扩展覆盖范围和时间一致性，使胆囊切除术的所有阶段都能得到系统性的探索，并具有明确的任务边界和成功标准。
- 连接生成式与数值模拟。 将学习到的视觉真实感与显式的几何、接触和组织力学相结合。数值模型和实测数据可以帮助约束和验证形变，使模拟行为不仅令人信服，而且可被检查。
- 与外科医生共同评估。 评估解剖准确性、器械行为和组织响应，将专家反馈转化为可复现的基准。
- 支持更多器械。 超越两种受控工具，实现更丰富的协调、遮挡和交互。
- 开发自主手术策略。 将世界动作模型与 Cosmos3-H-Dreams 以闭环方式耦合，使策略能够学习定义好的胆囊切除术子任务。
这些是研究方向，而非已确立的临床能力。Cosmos3-H-Dreams 是一个研究模拟器，不是经过验证的患者护理系统。它为在日益真实的环境中研究手术交互提供了基础。
6. 立即上手
探索 Cosmos3-H-Dreams 背后的模型、数据和运行时：
- Cosmos3-H-Dreams 代码和示例： GitHub 仓库
- Cosmos3-H-Dreams 模型： Hugging Face 检查点
- Cosmos3-H-Embodied-Nano: Hugging Face 模型 和 GitHub 仓库
- 适配您自己的数据： 教师微调与 self-forcing 蒸馏的分步操作指南
- Open-H-Embodiment： Hugging Face 数据集
- FlashDreams： GitHub 仓库
- NVIDIA Cosmos 3： GitHub 仓库
带上您的控制器、您的轨迹和您的研究问题。我们期待看到社区在这些全新的手术世界中所构建的成果。