開発者がワールドモデルを迅速に構築するのを支援し、これらは物理AIシステムが現実世界を理解しシミュレートするのに役立つNVIDIAは、新しいトレーニングツール、シミュレーションチェックポイント、およびCosmos Data Factoryの設計案を提供することで、Cosmosプラットフォームを拡張しました。
6種類のオープンモデルのリーダーボードでトップ5に入るNVIDIA Cosmosプラットフォームは、世界のモデルビルダーに、デプロイ前に訓練データを拡大し、モデルを適応させ、動作をテストし、パフォーマンスを最適化するためのフロントエンドのオープンモデルや、データ、トレーニング、最適化ツール、レシピを提供します。
より良いトレーニングデータを構築する
世界モデルの構築は、多モーダルな多感覚データから始まる。
NVIDIA Cosmos Data Factoryは、物理的AIのトレーニングのために、データのラベル付け、選定、拡張、評価を行うためのツールとスキルを統合しています。ビデオトレーニングデータセットの選定に用いられるGPU加速ソリューションであるCosmos Curatorは、今や多モダル・多感覚入力および処理ブロックへのサポートが追加されました。
ヨーロッパでのNVIDIAの全発表内容を読む
Cosmos Data Factoryは、現在以下の5つのクラウドネイティブブループローフを提供しており、GitHub、Microsoft Azure、Nebius、CoreWeaveを通じて利用可能です。
- 自動運転車データセット生成：運転データを整理しラベル付けした後、取得が困難なシナリオの合成例を追加してトレーニングの範囲を広げる。
- 画像属性の拡張化：画像検索を向上させるために、対象物の外観を変化させる。
- イベントビデオ生成：静止画像を、珍しいまたは危険な出来事の合成ビデオに変換します。
- 欠陥画像生成：検査モデル用のプリント回路基板、金属およびガラスの欠陥画像を生成する。
- ビデオデータ拡張化：シーン構造を保持しながら、既存の映像の天候や照明を変更する。
Cosmos Data Factoryは、エージェント型スキルを通じて、データの整理、処理、合成データ生成を加速します。
企業は、物理的なAI開発ワークフローを加速するために、Cosmos Data Factoryの設計案を実用化している。
ポルシェは、フォルクスワーゲングループの各ブランドを通じて、Microsoft Azure上のVoxel51を利用したCosmos Data Factoryを用いて、共有型AVデータフライウィールの開発を進めています。これにより、物理的な試乗回数を最大90％削減し、開発サイクルの時間を最大85％短縮することが期待されています。
Cosmos Data Factoryが動力するVoxel51で、ポルシェが自動運転車のデータ映像を検索し、拡張している。
ANYboticsは、Cosmos Data Factoryのブループリントを用いて1,500以上の合成ビデオクリップを生成し、実世界のデータを整理し、Encordのプラットフォームを用いて出力を検証することで、施設訪問時の液体流出やその他の変化を認識する産業検査ロボットを訓練しました。
ANYbotics 異常クリップを生成する エンコード NVIDIA Cosmos Data Factoryによって動作します。
Ultralyticsは、コンピュータビジョン企業であり、Cosmos Data Factoryを使用して生成された合成欠陥を対象に、実際の画像を用いてYOLOモデルを再学習し、欠陥の局所化と再検出率を向上させました。
トレーニング、適応、モデルの最適化
トレーニングデータが準備された後、開発者は自身のアーキテクチャを学習するか、事前学習されたモデルから始めることができます。
GTC Berlinで、NVIDIAはCosmos Frameworkのトレーニング、最適化、デプロイツールおよび方法論をエージェントスキルとして、よりオープンなモデルへ拡張しました。これに加えてCosmos 3も提供され、ワールドモデルビルダーは実験からデプロイまでの道がより速くなります。
開発者やエージェントは、GR00T、Alpamayo、QWEN、Pi0.5などのオープンモデルや他の互換性のあるHugging Faceモデルをファインチューニングや強化学習を通じて適応させ、ディストリビューションや量子化を用いてモデルを最適化し、高性能な推論機能を持つ形で導入することができる。
自己中心的な操作に特化した世界モデルを開発するため、ロボティクス研究ラボのMicroAGIは、人間が物体を操作する動画を用いてCosmos 3を再訓練し、32十億パラメータの推論器を精度を損なうことなく8十億パラメータのNanoモデルに縮小した。
開発者は、データにラベルを付け、Cosmos 3をRoboflow上で、特定の環境やタスクに合わせてトレーニングすることができます。その後、これらのモデルをRoboFlowがホストするまたはオンプレースのNVIDIA GPUに展開し、工場や倉庫でビデオ推理機能を実現します。
ポリシーをテストし、モデルをより速く実行する
これらのツールとともに、NVIDIAはCosmosモデルに関する研究を通じて、基礎的な技術をさらに発展させ続けている。
新しいCosmos 3 Nanoモデルのバリエーションを利用することで、開発者は再現可能で、捉えがたく、複数の視点を持つ多感覚センサーシナリオにおいて自律的なポリシーをテストすることができます。付随するコードにより、開発者は実世界でのテスト前に、インタラクティブなシミュレーションにおいて自動運転車や双手操作ロボットの自身のポリシーを訓練し評価するためにモデルを調整することができます。
開発者は、更新されたNVIDIA Cosmos 3 NIMマイクロサービスを使用してCosmosモデルを展開できます。これらのマイクロサービスにより、検証済み構成では品質の低下なしで最大2倍の速度で推論が行われ、連続的なビデオ分析によりサブセカンド秒レベルのアラートが実現されます。
ビジョンAI開発者にとって、Cosmos NIMマイクロサービスを基盤とする新しいNVIDIA Metropolis Blueprint for video search and summarization (VSS) 3.3は、1つのプロンプトを効率的なビデオAIアプリケーションに変換し、同じGPUで40％多くのビデオストリームを監視することができます。
ADNOCは、CosmosとNVIDIA Metropolis VSS Blueprintで構築されたFogsphereのMistIQエージェントプラットフォームを利用し、65か所の施設でリアルタイムに安全リスクを検出しています。稀な事件に対しては、FogsphereはCosmos Data Factoryを使用して合成訓練データを生成し、危険な状況を実際に実施する必要なく検出精度を向上させています。
Cosmosプラットフォームは完全にモジュール化されており、オープンです。開発者は利用できます コスモス・データファクトリー トレーニングデータセットを生成するため コスモスフレームワーク 世界モデルを訓練し適応させ、その後サポートを展開する NIMマイクロサービスを通じたコスモスモデル.
ヨーロッパでのNVIDIAの全発表内容を読む