개발자가 신속하게 구축할 수 있도록 월드 모델은 물리 AI 시스템이 실제 세계를 이해하고 시뮬레이션하도록 돕는 기술로, NVIDIA는 이를 위해 새로운 훈련 도구, 시뮬레이션 체크포인트 및 Cosmos Data Factory 블루프린트로 Cosmos 플랫폼 을 확장했습니다. 여섯 개의 서로 다른 오픈 모델 리더보드에서 톱 5를 기록한 NVIDIA Cosmos 플랫폼은 월드 모델 빌더들에게 최첨단 오픈 모델은 물론, 훈련 데이터를 확장하고, 모델을 조정하고, 동작을 테스트하고, 배포 전에 성능을 최적화할 수 있는 데이터, 훈련 및 최적화 도구와 레시피를 제공합니다.
6개의 서로 다른 오픈 모델 리더보드에서 톱 5에 랭크된 NVIDIA Cosmos 플랫폼은 월드 모델 빌더들에게 프론티어 오픈 모델을 제공할 뿐만 아니라, 훈련 데이터를 확장하고, 모델을 적응시키고, 동작을 테스트하며, 배포 전에 성능을 최적화할 수 있도록 데이터, 훈련 및 최적화 도구와 레시피도 함께 제공합니다.
월드 모델 구축은 멀티모달·멀티센서리 데이터에서 시작됩니다.
NVIDIA Cosmos Data Factory
는 물리 AI 훈련을 위해 대규모로 데이터를 레이블링, 큐레이션, 증강 및 평가하는 도구와 기술을 한데 모읍니다. 비디오 훈련 데이터셋 큐레이션을 위한 GPU 가속 솔루션인 Cosmos Curator는 이제 멀티모달 멀티센서리 입력 및 처리 블록에 대한 지원이 추가되었습니다. 물리적 AI 훈련을 위해 대규모로 데이터에 레이블을 지정하고, 선별하고, 증강하고, 평가하는 도구와 기술을 결합합니다. 비디오 훈련 데이터셋을 선별하기 위한 GPU 가속 솔루션인 Cosmos Curator는 이제 멀티모달 멀티센서리 입력 및 처리 블록에 대한 지원이 추가되었습니다.
Cosmos Data Factory는 이제 다음의 다섯 가지 클라우드 네이티브 블루프린트를 제공하며
Cosmos Data Factory는 이제 다음의 다섯 가지 클라우드 네이티브 블루프린트를 제공하며 다음을 통해 이용할 수 있습니다 Microsoft Azure, Nebius, 및 CoreWeave 를 통해 이용할 수 있습니다.:
- 자율주행차 데이터셋 생성: 주행 데이터를 큐레이션하고 레이블링한 후, 포착하기 어려운 시나리오의 합성 예시를 추가하여 훈련 범위를 확장합니다.
- 이미지 속성 증강: 오브젝트 외관을 다양화하여 이미지 검색을 개선합니다.
- 이벤트 비디오 생성: 정지 이미지를 희귀하거나 위험한 이벤트의 합성 비디오로 변환합니다.
- 결함 이미지 생성: 검사 모델을 위해 인쇄 회로 기판, 금속 및 유리 결함 이미지를 생성합니다.
- 비디오 데이터 증강: 장면 구조를 유지하면서 기존 영상의 날씨와 조명을 변경합니다.
Cosmos Data Factory는 에이전틱 스킬을 통해 데이터 큐레이션, 처리 및 합성 데이터 생성을 가속화합니다.
기업들이 이미 Cosmos Data Factory 블루프린트를 활용하여 물리적 AI 개발 워크플로를 가속화하고 있습니다.
포르쉐는 Voxel51을 통해 Microsoft Azure에서 Cosmos Data Factory를 활용하여 폭스바겐 그룹 브랜드 전반에 걸친 공유 자율주행(AV) 데이터 플라이휠 개발을 주도하고 있습니다. 이를 통해 반복적인 물리적 시험 주행을 최대 90%까지 줄이고 개발 주기 시간을 최대 85%까지 단축할 것으로 기대됩니다.
Cosmos Data Factory가 구동하는 Voxel51에서 포르쉐가 자율주행차 데이터 영상을 검색하고 증강하고 있습니다.
ANYbotics는 Cosmos Data Factory 블루프린트를 사용하여 1,500개 이상의 합성 비디오 클립을 생성했으며, 실제 세계 데이터를 큐레이션하고 출력물을 다음과 같이 검증했습니다. Encord의 플랫폼을 활용해 시설 방문 사이에서 발생한 액체 유출 및 기타 변화를 인식하도록 산업 검사 로봇을 훈련시켰다.
ANYbotics 이상 클립을 생성하여 Encord NVIDIA Cosmos Data Factory로 구동됩니다.
Ultralytics라는 컴퓨터 비전 회사는 실제 이미지와 Cosmos Data Factory를 사용해 생성한 표적화된 합성 결함으로 YOLO 모델을 재학습시켜 결함 위치 파악 및 재현율을 향상시켰습니다.
모델 학습, 적응 및 최적화
학습 데이터가 준비되면 개발자는 자신만의 아키텍처를 학습시키거나 사전 학습된 모델로 시작할 수 있습니다.
GTC 베를린에서 NVIDIA는 Cosmos Framework 의 학습, 최적화 및 배포 도구와 레시피를 에이전트 스킬로 더 많은 오픈 모델에 확장했으며, Cosmos 3와 함께 월드 모델 빌더가 실험에서 배포로 더 빠르게 나아갈 수 있는 길을 열어주었습니다.
이제 개발자와 에이전트는 다음과 같은 오픈 모델을 적용할 수 있습니다 GR00T, 알파마요, QWEN, Pi0.5 등 호환되는 Hugging Face 모델을 파인튜닝과 강화학습을 통해 다루고, 증류와 양자화로 모델을 최적화하며, 고성능 추론으로 배포할 수 있습니다.
자기중심적 조작(egocentric manipulation)에 특화된 월드 모델을 개발하기 위해 로보틱스 연구소 MicroAGI는 사람이 물체를 조작하는 영상으로 Cosmos 3를 포스트트레이닝하고, 정확도 손실 없이 32-billion-parameter 리저너를 8-billion-parameter Nano 모델로 증류했습니다.
개발자는 데이터에 라벨을 달아 Cosmos 3를 포스트 트레이닝할 수 있습니다 Roboflow 자사 환경과 작업에 맞는 모델을 학습시킨 후, 그 모델들을 RoboFlow 호스팅 또는 온프레미스 NVIDIA GPU에 배포하여 공장과 창고에 비디오 추론을 도입할 수 있습니다.
정책을 테스트하고 더 빠르게 모델 실행하기
이러한 도구들과 더불어 NVIDIA는 Cosmos 모델에 대한 연구를 통해 기반 기술을 계속 발전시키고 있습니다.
새 소식 Cosmos 3 나노 모델 변형 시뮬레이션을 통해 개발자들은 재현 가능하고 포착하기 어려운 다중 시야 멀티센서 시나리오에서 자율 정책을 테스트할 수 있습니다. 함께 제공되는 코드를 통해 개발자들은 실제 환경 테스트 전에 대화형 시뮬레이션에서 자율주행차와 양팔 로봇을 위한 자신만의 정책을 훈련하고 평가하도록 모델을 조정할 수 있습니다.
개발자는 업데이트된 버전을 사용하여 핵심 Cosmos 모델을 배포할 수 있습니다 NVIDIA Cosmos 3 NIM 검증된 구성에서 품질 손실 없이 최대 2배 빠른 추론을 제공하는 마이크로서비스로, 지속적인 비디오 분석을 통해 1초 미만의 경보를 지원합니다.
비전 AI 개발자에게 새로운 NVIDIA Metropolis Blueprint for video search and summarization (VSS) 3.3, Cosmos NIM 마이크로서비스를 기반으로 구축되어 하나의 프롬프트를 효율적인 비디오 AI 애플리케이션으로 전환하며, 팀이 동일한 GPU로 40% 더 많은 비디오 스트림을 모니터링할 수 있도록 지원합니다.
ADNOC는 Cosmos와 NVIDIA Metropolis VSS Blueprint로 구축된 Fogsphere의 MistIQ 에이전틱 플랫폼을 활용해 65개 사업장 전반에서 안전 위험 요소를 실시간으로 탐지합니다. 드문 이벤트의 경우, 안개 구름 또한 Cosmos Data Factory를 사용하여 합성 학습 데이터를 생성함으로써, 위험한 상황을 실제로 연출할 필요 없이 탐지 성능을 향상시킵니다.
Cosmos 플랫폼은 완전히 모듈화되어 있으며 개방적입니다. 개발자는 다음을 사용할 수 있습니다. Cosmos Data Factory 훈련 데이터셋을 생성하기 위해, Cosmos Framework 세계 모델(world models)을 학습하고 조정한 후, 지원되는 것들을 배포하려면 NIM 마이크로서비스를 통한 Cosmos 모델.
유럽 NVIDIA 발표 모두 읽기