シミュレーションのアイデアを実際のアプリケーションに変えるということは、アセットを組み立て、物理現象とレンダリングを連携させ、シーンが期待通りに動作するかを確認することです。開発者たちは、フロンティアAIモデルとNVIDIA Omniverseライブラリを組み合わせて、シナリオを探索したり、障害を調査したり、設計を改善したりするためのアプリケーションを構築しています。
開発者は自然言語の指示によってAIエージェントを操作し、結果を確認し、変更を指導する。Omniverseライブラリには、GPUで加速された物理演算、レンダリング、センサーシミュレーション機能が備わっている。
以下のプロジェクトを探索して、GPT-6 AstraのようなフロンティアAIモデルがどのように機能しているかを見てみましょう。また、NVIDIAチームやエコシステム全体の開発者からの新しい例も確認してください。
倉庫環境用ヒューマノイドシミュレータを構築する
第一人称および第三人称視点で、ゲーム化された物理的基盤を持つ人型ロボットの制御を体験しよう。
倉庫業務を自動化する前に、開発者はタスクの動作を調査し、作業の進め方を評価するためのインタラクティブなシミュレーション環境が必要です。NVIDIAのOmniverseプロダクトマネージャーであるフランク・デリーズは、Astraを使用してSimReady倉庫とヒューマノイドロボットを、第一人称および第三人称視点を持つインタラクティブシミュレーターに変換しました。
デ・リゼは、Astraを使ってNVIDIA Omniverseライブラリを物理機能（ovphysx）、シーン更新（ovstage）、レンダリング（ovrtx）およびユーザーインターフェース（ovui）に接続させました。また、AstraをSimReady（simready-foundation）と組み合わせて、シミュレーション内の物理的なシーンを作成しました。その後、Astraはアニメーションやアプリケーションフォーマットのコードを生成し、これらの機能を統合しました。
Frontier AIモデルとNVIDIA Omniverseライブラリを使用して、SimReadyロボットアセットを準備し、検証する方法を学びましょう。
自動運転テストワークフローを接続する
シーン、センサー、または運転モデルを変更すると、自動運転車のシミュレーションに大きな影響を与える可能性があります。NVIDIAのシミュレーション技術チームのマネージャーであるDoyub Kimは、Astraに対してサンフランキス市のMarket Streetを基盤とした再利用可能なシミュレーション環境であるZero to Alpamayoを構築するよう依頼しました。
キムはアストラにワークフローを策定させ、アセット作成、トラフィック、Omniverse RTXセンサーシミュレーションおよびAlpamayoドライビングを段階的に連携させ、各統合を確認した。その結果得られたプロトタイプは、モデルを比較し、シーンやセンサーの変化がドライビング行動にどのように影響するかを追跡するためのテスト場となった。別のCosmos3-Nano実験では、記録されたシミュレーションビデオで天候と照明を変えて調整し、キムは異なる条件下でのドライビングモデルの反応を比較することができた。
センサー差を利用してデジタルツインを作成し、向上させる
記録されたおよびシミュレーションされたカメラおよびリダー出力を比較することで、開発者はシーンを改善するための重要なパフォーマンス指標に基づくフィードバックを得ることができる。
ロボットや自動運転車をテストするためには、開発者はシミュレーションされたセンサーが実際のセンサーとどれだけ一致しているかを知る必要があります。NVIDIAでRTXセンサーの検証に携わっているアシュレイ・リードは、AstraおよびClaude Fable 5エージェントに、ovrtxカメラと生のLiDAR出力を記録データと比較させました。エージェントは二つのデジタルツインをゼロから作成し、既存の二つを改善しました。
約3日間にわたり、リードは反復的なワークフローを導き、エージェントは差異を測定し、OpenUSDシーンを作成または変更し、結果を確認しました。変更内容には欠けているオブジェクト、ジオメトリ、材料が含まれ、カメラとLiDARの指標に基づいて受け入れられるかどうかが判断されました。これにより、開発者は測定された差異を利用してシーンの作成と改善をガイドする方法が得られます。
OpenUSDシーンをレンダリングしてから ovrtx最小限のPython例次に、記録されたデータと比較するためのセンサー測定値を定義する。
ロボオリンピック：シミュレーションでロボットのスキルを試す
ロボットに新しい動きを教えるということは、それらの動作が物理的な制約の下で機能するかどうかを確認することです。NVIDIA Omniverseエンジニアリングおよび製品部門の責任者であるタイ・キムは、スポーツ映像と自然言語の指示を用いて、Unitree G1ヒューマノイドがスポーツ動作を行う実験プロジェクト「Robo Olympics」を構築する際のアストラを指導しました。
キムの指導のもと、Astraはコントローラを開発し、物理実験を通じてそれらを改善した。Newton Physics Engineが動作をシミュレートし、オープンソースのNVIDIA Warpフレームワークが計算を加速し、ovrtxがシーンや仮想カメラの画像を生成した。ある実験では、ロボットは100回のシミュレーション試行のうち64回で単一のハードルを越えた。これらの試行により、キムはロボットのタイミングと制御を改善するためのフィードバックを得た。
Kimを見る建物シミュレーションを探索するについては、AstraとNVIDIA Omniverseライブラリを使用します。
コンピュータ支援設計とシミュレーションを用いたロボットの分解テスト
ロボットが製品を分解できる前に、開発者はそのツールが部品に到達し、それを取り除くことができるかどうかを知る必要があります。NVIDIAのOpenUSD担当シニアプロダクトマネージャーであるJens Jebensは、AstraにPTC Onshapeで車両サスペンションのモデルを作成し、NVIDIAIsaac Simでその設定を行うように指示しました。
Astraを使って、Jebensはコンピュータ支援設計と、シミュレーションに基づくロボットのツール改修を探求した。エージェントは利用可能な空間を測定し、ロボットがサスペンションのボルトに到達するために使用できるレンチを設計した。Jebensはシミュレーション中にサスペンション部品の取り外しに成功したと報告した。これにより、設計とツールに関する決定が分解結果と結びつくことになり、ロボットのポリシートレーニングの出発点となる。
探検しようOnshapeインポーターガイドを。
国際宇宙ステーションをブラウザに表示する
3Dモデルをアプリケーションに変換するには、アセット、ライブデータ、インターフェースを接続する必要があります。NVIDIAのエンジニアリングディレクターであるニック・ジョンズは、Astraに対し、NASAのアセットをテレメトリー機能を持つOpenUSD国際宇宙ステーションモデルに組み立てるよう指示しました。ジョンズは一つの指示でアプリケーションを作成し、その後、シーンを地球の日中側に移動させて、惑星が見えるようにしました。
ワークフローでは、アセットの準備にはBlenderを、レンダリング（Omniverseライブラリ）、シーン実行（ovstage）、ストリーミング（ovstream）にはovrtxを使用した。このアプリケーションは、3Dモデルと運用データをブラウザに導入し、Johnがプロンプトや修正を通じてその開発を指導する。
試してみてくださいOmniverse Real-Time Viewerスキルを。
収集された部屋をテスト環境に変換する
デジタル的に再構築された空間では、開発者が相互作用をテストできるように、編集可能なオブジェクトと正確な物理的動作が必要です。NVIDIAのIsaacエンジニアリングアプリケーションチームのChirag Majithiaは、Astraに対して、ステレオカメラのキャプチャを編集可能なOpenUSDスタジオに変換するよう指示しました。
再構築にはPyCuSFM、FoundationStereo、nvbloxを組み合わせ、ユーザーのレビューによってオブジェクトの選定と配置が行われる。Astraは生成されたアセットとBlenderで作成されたアセットを組み合わせ、USD Content Agentsを使用してシミュレーションにおけるオブジェクトの動きや相互作用の設定を行った。Isaac Simではドアや引き出しの衝突および接触に関する修正が行われる。スタジオでは、キャプチャされたジオメトリをインタラクションテストに接続し、ギャップやオブジェクトの動きをより簡単に確認できるようにした。
シミュレーションのアイデアがありますか？探求してみましょう。 NVIDIA Omniverseライブラリを使って、AIエージェントで構築を始めましょう。