TL;DR
NVIDIA Cosmos 世界モデル開発プラットフォームに、インタラクティブな世界シミュレーションとマルチセンサー・マルチビューの運転シーンを生成するための Cosmos 3 モデルファミリーの新しいオープンウェイトチェックポイントが 4 つ追加されました:
- 🌦️ Cosmos3-Nano-Transfer-Auto : 様々な天候、照明、時刻におけるマルチビュー運転データを生成します。
- 🚗 Cosmos3-Nano-Sim-Auto : 運転シミュレーション用に、同期されたカメラと LiDAR の観測をストリーミングします。
- 🎨 Cosmos3-Nano-Sim-Transfer : シミュレータの制御入力とテキストプロンプトから、フォトリアルな映像を作り出します。
- 🤖 Cosmos3-Nano-Sim-Bimanual : ロボットまたはカメラのアクションから映像を予測します。
4 つのモデルはすべて Cosmos 3 Nano をポストトレーニングした例であり、16B の学習可能なパラメータを持ちます。モデルは OpenMDW1.1 を使用しており、その条件の下で商用および非商用利用が可能です。
チェックポイントをダウンロード · 技術レポートを読む . デモを見る
なぜこれらのチェックポイントが必要なのか?
🦾 ロボティクスには、変化するシーンや視点にわたってこれに答えられる環境が必要です。これらのチェックポイントは、その構築のための相補的な方法を提供します。Sim-Bimanual はアクションからの視覚的な結果を予測し、Sim-Transfer は物理シミュレータの制御入力を生成された観測に変換します。
🚦 自動運転では、外観と幾何が一致していなければなりません。同期されたカメラと LiDAR の生成は、視覚的な観測と 3D センシングを結び付けます。シーンと信号機の制御により、研究者は道路レイアウトや信号の状態を変化させ、運転ポリシーがどう応答するかを研究できます。
🔄 各観測は次のアクションを形づくることができます。ストリーミング生成は映像予測を継続的なインタラクションに接続し、世界モデル研究者にアクションと観測がどのように一緒に展開するかを探る手段を与えます。
🌐 他の人がその上に構築できるオープンな基盤です。NVIDIA のビジョンは、研究者や開発者がより豊かで応答性の高いシミュレートされた世界を作れるよう支援することです。オープンウェイトとポストトレーニングのレシピは、モデルの適応、手法の比較、改良の貢献のための共通の出発点を提供します。これらの問題は依然として困難です。今後の課題は、モデルがどこでポリシーの学習と評価を忠実に支援できるかを測定し、その限界を理解し、不足している部分を改善することです。
Cosmos3-Nano で自動運転の世界を構築する
🌦️Transfer-Auto: 運転シナリオ → マルチセンサーデータ
Cosmos3-Nano-Transfer-Auto は、オフラインの合成運転データ生成向けの双方向モデルです。フィッシュアイを含む最大 11 のカメラビューにわたる同期映像を生成し、RGB–LiDAR のJoint生成をサポートします。カメラごとの World Scenario Map (WSM) 制御がシーン構造と交通の動きを指定し、テキストプロンプトが外観を導きます。
開発者は環境条件を変化させてトレーニングと評価のカバレッジを広げることができ、シーンの外観を固定するためのオプションの初期 RGB 画像も使用できます。Joint での LiDAR 生成には、さらに整列された HD マップのレンジマップ制御を使用します。 Transfer-Auto は、Cosmos を独自のセンサープラットフォームや運転ドメインに適応させるための基盤としても機能します。まず自身のデータでポストトレーニングを行い、カメラレイアウト、LiDAR 構成、対象環境に対応させます。適応されたモデルは、オフラインでのデータ生成に直接使用することも、高速ストリーミングシミュレーションのために因果トレーニングと少数ステップの蒸留を行うこともできます。後者が Cosmos3-Nano-Sim-Auto を作成するために使用された開発パスです。
エージェントをこのオープンスキルに向けてください: Cosmos3-Nano-Transfer-Auto で推論を実行する
ノートブックがお好みですか? 開く Transfer-Auto.
🚗Sim-Auto: 運転コントロール → ストリーミング観測
Cosmos3-Nano-Sim-Auto は、Transfer-Auto の因果的蒸留によるストリーミング版です。生成済みの履歴と更新された運転コントロールを用いて、わずかな denoising ステップで同期されたカメラ映像と LiDAR の連続する小さなチャンクを生成し、高速なストリーミングと長時間のインタラクティブなロールアウトを可能にします。
カメラごとのキャプションと同期された WSM コントロールを提供し、必要に応じて初期 RGB 画像を追加します。LiDAR の生成には、カメラコントロールと整合した HD-Map レンジコントロールを含めてください。蒸留済みモデルはローリング履歴を用いて連続するチャンクを生成します。クローズドループのインタラクションには、運転入力からコントロールを更新するためのシミュレーションランタイムと WSM レンダラが必要です。新しいセンサーリグやドメインに対しては、まず Transfer-Auto を適応させ、その後 Sim-Auto に蒸留してください。
エージェントをオープンスキルへ誘導してください: Cosmos3-Nano-Sim-Auto で推論を実行
ノートブックがよい方は: 開く Sim-Auto.
🎨 Sim-Transfer: シミュレータコントロール → RGB
シミュレータが運動、接触、物理状態を計算します。Sim-Transfer はその空間コントロールとテキストプロンプトを用いて、ポリシーが利用できるカラー観測をレンダリングします。
アクション → シミュレータ更新 → 空間コントロール → 生成 RGB → 次のポリシーアクション
Depth(深度): カメラからの相対距離。
Segmentation(セグメンテーション): 領域と物体の境界。
Edges(エッジ): シーンの輪郭。
Blur(ブラー): 大まかな外観とレイアウト。
テキストは外観をガイドし、物理とグラウンドトゥルースの状態はシミュレータに留まります。
深度コントロールから映像へ
セグメンテーションコントロールから映像へ
エージェントをオープンスキルへ誘導してください: Cosmos3-Nano-Sim-Transfer で推論を実行
ノートブックがよい方は: 使用する Transfer.
🤖 Sim-Bimanual: アクション → 映像
入力フレーム
Sim-Bimanual シミュレーションチェックポイントからの出力映像
Cosmos3-Nano-Sim-Bimanual 両腕ロボットの動作に対して環境がどう変化するかをシミュレートします。YAMおよびAgiBotのエンボディメントに対するインタラクティブな両腕シミュレーションをサポートし、ポリシーまたは人間が操作するジョイスティックによって制御されます。
画像から始めて、ロボットまたはカメラを動かし、次の観測を生成します。1つの制御シーケンスで視点変更と操作を切り替えることができます。
混合アクションの例では59個の制御値を使用し、トレーニング時には64にパディングされます。そのスキーマは座標フレーム、回転、グリッパーのキャリブレーション、有効性マスク、および制御ドメインを定義します。各値が意図した動きを記述するように、これらの規則に従ってください。
タイミングを一致させてください:T個の遷移にはT+1個の観測が必要です。トレーニングでは生のキャプチャをモデルのアクション表現に変換し、リリースされた推論アクションはすでに正規化されています。
ここで、Sim-Transferは物理シミュレータの更新後の状態からビジュアルを生成し、Sim-Bimanualはシーンとロボットのアクションから直接次の観測を生成します。
以下を参照してください: データコントラクト および アクションスキーマ.
要件: Linux、NVIDIA GPU、Docker、およびNVIDIA Container Toolkit。公開されているvLLM-OmniのセットアップはGB200を1基でテストされましたが、これは最小メモリ仕様ではありません。サーバーは重みをダウンロードし、クライアントはサンプル入力を取得します。
エージェントをオープンスキルに向けてください: Cosmos3-Nano-Sim-Bimanualで推論を実行する
ノートブックがお好みですか? 開く 両腕
ストリーミング生成の仕組み
Cosmos 3 の Mixture-of-Transformers バックボーンは、独立したテキスト処理ネットワークと視覚生成ネットワークをアテンションを介して接続します。ジェネレーターは、プロンプト、利用可能なコントロール、および生成履歴から各短いセグメントを予測します。
コントロール + 履歴 → チャンクを生成 → 画像をデコード → 履歴を更新
デノイジングにより、ノイズを含む圧縮動画表現がセグメントへと精錬されます。時間的因果アテンションにより、利用可能な履歴とコントロールを読み取りつつ、将来のターゲット観測をブロックします。キー/バリューキャッシュが、次の予測のためのアテンション情報を保持します。
このモデルは、latents と呼ばれる圧縮動画表現を扱います。初期画像の後、各 latent のタイムステップは4つの RGB フレームを表します。Transfer はチャンクごとに1ステップを予測し、レポートで最適化された Bimanual セットアップは2ステップを予測します。より小さいチャンクにすることで、新しいコントロールが生成に影響を与える頻度が高まります。
4段階のトレーニングレシピ
ステージ 0 — 双方向アダプテーション：完全に記録されたクリップから、ドメインとそのコントロールから動画への関係を学習します。
ステージ 1 — Teacher forcing：過去の記録された観測と利用可能なコントロールから各チャンクを予測します。クリーンな正解と将来のターゲットはマスクされます。
ステージ 2 — 一貫性蒸留：凍結したティーチャーを使い、4つのデノイジングステップで各チャンクを生成するステューデントをトレーニングします。
ステージ 3 — Self-forcing：ステューデントが生成した履歴を使ってトレーニングします。凍結したティーチャーと補助的なスコアモデルが、分布マッチングのシグナルを供給します。
最終ステージが重要な理由：わずかに誤って予測されたオブジェクトが後続フレームのコンテキストとなるため、誤りが累積する可能性があります。Self-forcing は、その生成された履歴にトレーニングを晒します。蒸留とキャッシングにより、各観測を生成するコストが削減されます。
🛠️ 自分のデータでアダプトする
ポストトレーニングのレシピは、Cosmos3-Nano または互換性のあるベースの重みから開始し、4つのステージすべてをカバーします。再開のために完全なトレーニングチェックポイントを保持してください。エクスポートされた推論用重みには、オプティマイザーやその他のトレーニング状態は含まれません。
Transfer-auto: ドライビングデータでポストトレーニングを行い、センサーマウント構成とドメインに適応させ、オフラインの合成データを生成します。
Sim-auto: アダプト済みの Transfer-Auto モデルに因果トレーニングと蒸留を適用し、高速なストリーミングシミュレーションを実現します。
Sim-Transfer : ローカルのデータ準備、ステージ設定、および再開機能を用いて、お使いの環境用のチェックポイントをポストトレーニングします。
Sim-Bimanual: データ検証、ステージ設定、チェックポイントの引き継ぎ、およびエクスポートを用いて、お使いの実体（エンボディメント）向けにポストトレーニングします。
コーディングエージェントにスキルとデータセットの場所を与えます。環境チェックに従い、サンプルを検証し、長時間の実行の前にトレーニングと再起動をテストしてください。ヘルドアウトのエピソードで品質を評価してください。短時間の実行が成功しても、実行できていることの検証に過ぎず、収束を保証するものではありません。