시뮬레이션 아이디어를 실제 애플리케이션으로 전환하는 것은 아티팩트를 조합하고 물리학과 렌더링을 연결하며, 시나리오가 의도한 대로 작동하는지 확인하는 것을 의미합니다. 개발자들은 이러한 작업을 수행하기 위해 최신 AI 모델과 NVIDIA Omniverse 라이브러리를 결합하여 시나리오 탐색, 장애 조사 및 디자인 개선을 위한 애플리케이션을 구축하고 있습니다.
개발자들은 자연어 지시를 통해 AI 에이전트를 지휘하고, 결과를 검토하며 변경 사항을 안내합니다. Omniverse 라이브러리는 GPU로 가속된 물리, 렌더링 및 센서 시뮬레이션 기능을 제공합니다.
아래 프로젝트들을 살펴보면 GPT-6 Astra와 같은 최첨단 AI 모델이 어떻게 작동하는지 확인할 수 있으며, NVIDIA 팀과 생태계 전반의 개발자들이 만든 새로운 예제도 확인할 수 있습니다.
창고 환경을 위한 인간형 시뮬레이터를 구축하세요
인간형 로봇의 게임화된 물리 기반 조작을 1인칭 및 3인칭 시점에서 경험해 보세요.
창고 작업을 자동화하기 전에, 개발자들은 작업의 동작 방식을 탐구하고 작업이 어떻게 수행되는지 평가할 수 있는 상호작용형 시뮬레이션 환경이 필요합니다. NVIDIA의 Omniverse 제품 관리자인 Frank DeLise는 Astra를 사용하여 SimReady 창고 및 인간형 로봇을 1인칭 및 3인칭 관점의 상호작용형 시뮬레이터로 변환했습니다.
데리스는 아스트라를 사용하여 NVIDIA Omniverse 라이브러리를 물리학(ovphysx), 시각적 업데이트(ovstage), 렌더링(ovrtx) 및 사용자 인터페이스(ovui)에 연결하도록 지시했습니다. 그는 또한 아스트라를 SimReady(simready-foundation)과 함께 사용하여 시뮬레이션 내에서 물리적 장면을 만들었습니다. 그 후 아스트라는 이러한 기능들을 통합하기 위한 애니메이션 및 애플리케이션 코드를 생성했습니다.
방법을 배우세요 SimReady 로봇 자산을 준비하고 검증하기 프론티어 AI 모델과 NVIDIA Omniverse 라이브러리와 함께.
자율주행 테스트 워크플로우를 연결하기
장면, 센서 또는 운전 모델을 변경하면 자율주행 차량 시뮬레이션에 큰 영향을 미칠 수 있습니다. NVIDIA의 시뮬레이션 기술 팀 매니저인 도이브 킴은 아스트라에게 샌프란시스코의 마켓 스트리트를 기반으로 한 재사용 가능한 시뮬레이션 환경인 제로에서 알파마요까지를 구축하도록 요청했습니다.
김은 Astra에게 워크플로우를 구상하도록 지시했으며, 이후 자산 생성, 트래픽, Omniverse RTX 센서 시뮬레이션 및 Alpamayo 운전을 단계적으로 연동하여 각 통합 과정을 확인했습니다. 그 결과로 나온 프로토타입은 모델들을 비교하고, 장면이나 센서의 변화가 하위 단계의 운전 행동에 어떤 영향을 미치는지를 추적하기 위한 테스트 장이 되었습니다. 별도의 Cosmos3-Nano 실험에서는 기록된 시뮬레이션 영상에서 날씨와 조명을 변경하여, 김은 동일한 시나리오 하에서도 다른 조건에서 운전 모델의 반응을 비교할 수 있었습니다.
센서 차이를 활용하여 디지털 트윈을 만들고 개선하세요
녹화된 영상과 시뮬레이션된 카메라 및 리더 출력 결과를 비교함으로써 개발자들은 장면을 개선하기 위한 핵심 성능 지표 기반의 피드백을 얻는다.
로봇과 자율주행 차량을 테스트하려면 개발자들은 시뮬레이션된 센서가 실제 센서와 얼마나 가까운지 알아야 합니다. NVIDIA에서 RTX 센서 검증을 담당하는 애슐리 리드는 아스트라와 클로드 팅 5 에이전트를 사용하여 ovrtx 카메라와 원시 LiDAR 출력 데이터를 기록된 데이터와 비교하도록 지시했습니다. 에이전트들은 처음부터 두 개의 디지털 트윈을 만들고, 기존의 두 개를 개선했습니다.
약 3일 동안 리드는 반복적인 워크플로우를 이끌었으며, 에이전트들은 차이를 측정하고 OpenUSD 장면을 생성하거나 수정하며 결과를 확인했습니다. 변경 사항은 누락된 객체, 기하학적 구조 및 재질을 해결했으며, 승인은 카메라와 LiDAR 지표에 따라 결정되었습니다. 이를 통해 개발자들은 측정된 차이를 활용하여 장면 생성과 개선을 지시할 수 있습니다.
OpenUSD 장면을 렌더링하여 시작하세요. ovrtx 최소화된 파이썬 예제그런 다음 기록된 데이터와 비교하기 위한 센서 측정값을 정의하세요.
로보 올림피아드: 시뮬레이션을 통해 로봇 기술을 테스트하세요
로봇에게 새로운 동작을 가르치는 것은 그러한 동작이 물리적 제약 조건 하에서 제대로 작동하는지 확인하는 것을 의미합니다. NVIDIA Omniverse 엔지니어링 및 제품 부서를 이끄는 타이 킴은 스포츠 영상과 자연어 지시를 사용하여 아스트라가 로보 올림픽이라는 실험적 프로젝트를 개발하도록 도왔습니다. 이 프로젝트에서는 시뮬레이션된 유니트리 G1 인간형 로봇들이 스포츠 동작을 수행하는지를 테스트합니다.
킴의 지휘 하에 아스트라는 컨트롤러를 제작하고 물리 실험을 통해 그 성능을 개선했다. 뉴턴 물리 엔진은 행동을 시뮬레이션했으며, 오픈 소스 NVIDIA Warp 프레임워크는 계산 속도를 높였고 ovrtx는 장면과 가상 카메라 이미지를 렌더링했다. 한 실험에서 로봇은 100번의 시뮬레이션 중 64번에서 단 하나의 장애물을 통과했다. 이 실험들은 로봇의 타이밍과 제어를 개선하는 데 도움이 되었다.
킴의 영상을 시청하세요건물 시뮬레이션을 탐험하세요Astra와 NVIDIA Omniverse 라이브러리를 사용하여.
컴퓨터 지원 설계 및 시뮬레이션을 이용한 로봇 분해 테스트
로봇이 제품을 분해할 수 있기 전에, 개발자들은 그 도구가 부품을 접근하고 제거할 수 있는지 알아야 합니다. NVIDIA의 OpenUSD 수석 제품 관리자인 젠스 제벤스는 Astra를 사용하여 PTC Onshape에서 자동차 서스펜션 모델을 만들고 NVIDIA Isaac Sim에서 그 모델을 설정했습니다.
Astra를 사용하여 제벤스는 컴퓨터 지원 설계와 시뮬레이션을 통해 정보를 얻은 로봇용 도구 개선에 대해 탐구했습니다. 에이전트는 사용 가능한 공간을 측정하고, 로봇이 서스펜션의 볼트에 도달할 수 있도록 하는 렌치를 설계했습니다. 제벤스는 시뮬레이션에서 서스펜션 부품을 성공적으로 분리했다고 보고했습니다. 이로써 설계 및 도구 결정과 분해 결과가 연결되며, 로봇 정책 훈련을 위한 출발점이 제공됩니다.
참고하세요Onshape 가져오기 가이드.
국제 우주 정거장을 브라우저에 가져오기
3D 모델을 애플리케이션으로 변환하려면 자산, 실시간 데이터 및 인터페이스를 연결해야 합니다. NVIDIA의 엔지니어링 디렉터인 Nic Johns은 Astra에게 NASA의 자산을 OpenUSD 국제 우주 정거장 모델에 텔레메트리로 통합하도록 지시했습니다. Johns은 단일 지시에 따라 애플리케이션을 만들고, 그 후 추가 지시를 통해 장면을 지구의 낮편으로 전환하여 행성이 보이도록 했습니다.
워크플로우에서는 블렌더를 자산 준비에, Omniverse 라이브러리를 렌더링(ovrtx), 씬 실행 시간(ovstage) 및 스트리밍(ovstream)에 사용했습니다. 이 애플리케이션은 3D 모델과 운영 데이터를 브라우저로 가져오며, 존스가 프롬프트와 수정 사항을 통해 개발을 지도했습니다.
시도해보세요Omniverse Real-Time Viewer 기술.
포착된 방을 테스트 환경으로 전환하기
디지털로 재구성된 방에는 개발자가 상호작용을 테스트할 수 있도록 수정 가능한 객체와 정확한 물리적 동작이 필요합니다. NVIDIA의 아이작 엔지니어링 애플리케이션 팀 소속인 Chirag Majithia는 Astra에게 스테레오 카메라 촬영 데이터를 수정 가능한 OpenUSD 스튜디오로 변환하도록 지시했습니다.
워크플로우는 PyCuSFM, FoundationStereo 및 nvblox를 결합하여 재구성을 수행하며, 사용자 리뷰를 통해 오브젝트 선택과 배치가 이루어집니다. Astra는 생성된 및 Blender에서 작성된 애셋을 조합하고, USD Content Agents를 사용하여 시뮬레이션에서 오브젝트의 움직임과 상호작용 방식을 설정합니다. Isaac Sim은 문과 서랍에 대한 충돌 및 접촉 수정을 안내합니다. 스튜디오는 캡처된 지오메트리를 상호작용 테스트에 연결하여 공백과 오브젝트의 동작을 더 쉽게 검사할 수 있도록 합니다.
시뮬레이션 아이디어가 있나요? 탐색해 보세요. NVIDIA Omniverse 라이브러리를 사용하여 AI 에이전트로 작업을 시작하세요.