リアルタイムに反応する生成手術シーンの中で、Cadiere把持鉗子を動かし、胆のうをつかんで持ち上げる様子を想像してみてください。今日、私たちは次のステップとしてCosmos3-H-Dreamsを発表し、インタラクティブな生成シミュレーションを、これまでで最も説得力のある体内映像とともに、臨床手術の視覚的および手順上の複雑さにもたらします。
私たちの最初の Cosmos-H-Dreams リリースはCosmos-Predict2.5を基盤としており、手術ロボティクスの基盤となる実証場であるdVRKの卓上縫合にインタラクティブな生成シミュレーションをもたらしました。ワールド基盤モデル(WFM)であるCosmos-H-Dreamsは、数値シミュレーションの代替手段を実証しました。すなわち、シーンの幾何、組織の変形、物理的相互作用を明示的にモデル化するのではなく、同期された映像とロボットの運動学から視覚的ダイナミクスを直接学習し、高いリアリティを持つインタラクティブな卓上タスクシミュレーションを実現しました。
今日、 Cosmos3-H-Dreams は、CMR SurgicalのVersiusプラットフォームを用いた臨床処置中に記録された映像とロボットの運動学から学習することで、この能力をさらに進化させます。私たちの知る限り、これは臨床的な胆のう摘出術の記録を用いて訓練され、ライブでの運動制御をサポートする初のリアルタイム生成手術シミュレータです。Cosmos 3を基盤とし、NVIDIAの高速ストリーミング推論ライブラリであるFlashDreamsによって加速されたCosmos3-H-Dreamsは、NVIDIA RTX PRO 6000 GPU 1基上でインタラクティブに動作します。
1. 卓上タスクから臨床シーンへ
Cosmos-H-Dreamsのような制御された卓上環境では、器具は比較的単純な背景の前で動作します。しかし人体の中では、器具のわずかな動きがシーン全体に影響を及ぼします。組織が牽引によって伸び、反射が移り変わり、構造が隠れ、煙が視界を変えます。初期画像と与えられた道具の動作が与えられたとき、生成シミュレータは、新しいビデオブロックを生成するたびに、これらの反応を捉えつつ、解剖学的構造と器具を保持しなければなりません。小さな誤差は時間とともに蓄積し、器具の幾何や解剖学的構造を徐々に変えてしまうため、時間的な一貫性が不可欠です。
したがって、視覚的なリアリティは検証の出発点であって、生体力学的な正確さの証明ではありません。生成されたシーンは制御にも従わなければなりません。並進、回転、グリッパのコマンドは、一貫した解剖学的な結果を生み出すべきです。それらのコマンドを無視する、もっともらしく見えるロールアウトは、インタラクティブな環境として機能できません。
ライブの制御ループでこの忠実度と応答性を維持するには、低レイテンシの生成が必要です。Cosmos3-H-Dreamsは、臨床的な胆のう摘出術に特化し、リアルタイム生成のために蒸留されたモデルによってこの状況に対応し、複雑な解剖学的構造、組織の動き、遮蔽を含むシーンにアクション条件付きのインタラクションをもたらします。
2. Cosmos3-H-Dreamsの新機能
2.1 Cosmos 3基盤とより豊富な手術制御
Cosmos3-H-Dreamsは、 Cosmos3-H-Embodied-Nano、16十億パラメータのモデルで、以下のコーパスで事前学習された Open-H-Embodiment、厳選された胆のう摘出術の映像と運動学データにおいて双方向の教師モデルを特化させています。サンプル選択では、視認可能で操作に関与している2つの器具、すなわち左のCadiere把持鉗子と右のモノポーラフックを目標とし、器具主導のインタラクションを重視するためにカメラコマンドを制限しています。
このモデルは28次元のアクションを使用します。両アームの姿勢とグリッパ情報に加え、エネルギー制御、サムスティック軸、サムスティックボタンが含まれます。訓練では832 x 480の映像を用い、アクションは10 Hzで同期されます。このサンプリングレートは、実行時の生成スループットとは異なるものです。
2.2 教師モデルから4ステップおよび2ステップの生徒モデルへ
Cosmos3-H-Dreamsは、長い自己回帰ロールアウトのために設計された教師から生徒への訓練パイプラインと、FlashDreamsによる高速ストリーミング推論を組み合わせています。
まず、双方向の教師モデルを24未来フレームで適応させ、その後ホライズンを72フレーム、すなわち10 Hzで2.4秒および7.2秒に拡張します。これにより、教師モデルは手術のダイナミクスを学習するためのより長いシーケンスを得られます。
次に、蒸留によって双方向の教師モデルを、新しいアクションが到着するたびに短いブロックで映像を生成できる因果的な生徒モデルへと変換します。因果的な教師強制(causal teacher forcing)により、生徒モデルは記録されたコンテキストを用いて逐次生成に備えます。続くSelf-Forcingでは、教師モデルと学習されたクリティックに導かれながら、生徒モデル自身が生成したコンテキストで訓練します。これにより、インタラクティブなロールアウト中の誤差の蓄積に対処できます。
最初にリリースされる生徒モデルは、生成するブロックごとに4つのデノイジングステップを使用します。その後、この生徒モデルを2ステップのスケジュールでさらに訓練し、2番目のリリースチェックポイントを作成します。この2ステップモデルは別個に訓練されたものであり、4ステップモデルをサンプリングステップを減らして実行したものではありません。
デノイジングステップ数を減らすと推論時間は速くなりますが、視覚品質は低下します。両方のチェックポイントにより、開発者は視覚品質と推論コストのバランスを調整できます。
2.3 FlashDreams によるストリーミング
FlashDreams が高速化されたストリーミングランタイムを提供します。長時間のロールアウトでは、モデルのアテンション履歴の管理も必要になります。Cosmos3-H-Dreams の統合では、長時間のロールアウト中に増大するキー/バリューキャッシュを統合するよう適応された FadeMem モジュールを使用しています。これは Self-Forcing を補完するものです。蒸留はモデルが生成履歴からどのように学習するかに対処し、キャッシュ統合はストリーミング生成中にその履歴がどのように保存されるかに対処します。
3. 未経験の軌道の探索
臨床処置中には合併症が生じたり、術者が「新しい」動作を行う余地があったりする場合があります。したがって、シミュレータは訓練データを超えて汎化し、未経験の動作に対して一貫性のあるフレームを生成できなければなりません。以下のデモンストレーションは、VRヘッドセットで記録された機器のアクションを条件として、Cosmos3-H-Dreams が異なる胆嚢摘出術のシーンを生成する様子を示しています。
2本の動画は同じ初期フレームで始まりますが、異なるアクションシーケンスに従い、機器の制御が同じシーンの異なる継続につながり、物理的に正確な組織の変形が生じる様子を示しています。
さらに、これらのロールアウトにより、機器が制御に従うか、組織がインタラクションに一貫して応答するか、解剖学的構造と機器の外観が時間的に一貫しているかを確認できます。
4. 独自のデータとコントローラへの適応
Cosmos3-H-Dreams には、胆嚢摘出術用の4ステップおよび2ステップのチェックポイントが含まれています。このシステムは、同期された動画と互換性のあるアクション表現を備えた他のデータセットや実体にも適応できます。独自のデータセットでリアルタイムの学生モデルを訓練するために、私たちは教師のファインチューニングと Self-Forcing 蒸留の完全なレシピを ステップバイステップガイドで提供しています。ガイドでは、データ準備、公開されている教師訓練ツール、蒸留の各段階について説明しています。コントローラの統合では、訓練と同じアクションの規約と正規化を使用する必要があります。
5. 今後の展望
視覚的なリアリズムの進歩は、いくつかの研究の方向性を開きます:
- 処置全体をモデル化する。 カバレッジと時間的一貫性を拡張し、明確なタスク境界と成功基準のもとで胆嚢摘出術の全フェーズを体系的に探索できるようにする。
- 生成的シミュレーションと数値シミュレーションを接続する。 学習された視覚的リアリズムを、明示的な幾何学、接触、組織力学と組み合わせる。数値モデルや実測データは変形の制約と検証に役立ち、シミュレーションの挙動を説得力のあるものにするだけでなく、検証可能なものにする。
- 外科医による評価。 解剖学的正確さ、機器の挙動、組織の応答を評価し、専門家のフィードバックを再現可能なベンチマークに変える。
- より多くの機器をサポートする。 2つの制御対象ツールから、より豊かな協調、遮蔽、インタラクションへと拡張する。
- 自律的な手術ポリシーの開発。 World Action Model を Cosmos3-H-Dreams と閉ループで連携させ、ポリシーが定義された胆嚢摘出術のサブタスクを学習できるようにする。
これらは研究の方向性であり、確立された臨床能力ではありません。Cosmos3-H-Dreams は研究用シミュレータであり、患者ケアのための検証済みシステムではありません。これは、ますますリアルになる環境で手術インタラクションを研究するための基盤を提供します。
6. 今すぐ始める
Cosmos3-H-Dreams の背後にあるモデル、データ、ランタイムを探索してください:
- Cosmos3-H-Dreams のコードと例: GitHub リポジトリ
- Cosmos3-H-Dreams モデル: Hugging Face チェックポイント
- Cosmos3-H-Embodied-Nano: Hugging Face モデル および GitHub リポジトリ
- 自分のデータに適応させるには: 教師ファインチューニングとセルフフォーシング蒸留のためのステップバイステップの手順
- Open-H-Embodiment: Hugging Face データセット
- FlashDreams: GitHub リポジトリ
- NVIDIA Cosmos 3: GitHub リポジトリ
コントローラー、軌道、そして研究上の問いをお持ちください。この新しい手術世界の中でコミュニティが何を構築するのか、楽しみにしています。