01 3대 벤치마크 전체 1위 달성, Thinker-WM 3관왕
최근 유비테크(UBTech) Thinker-WM이 3대 공인 엠바디드 월드모델 벤치마크 평가에서 모두 1위를 차지하며 업계 기록을 경신했다:
WorldOlympiad：
Thinker‑WM은 종합 점수 0.740을 기록하며 1위에 올랐다. 이 벤치마크는 대량의 실제 로봇 상호작용 데이터를 기반으로 구축되었으며, 10여 종의 서로 다른 로봇 본체와 다양한 카메라 구성을 포괄하고, 로봇 형태 간·시점 간 일반화 능력을 중점적으로 평가한다. 모델은 3D 일관성 0.531, 상호작용 충실도 0.765를 기록해 두 가지 개별 지표 모두 전체 참가 모델 중 1위를 차지했으며, 이는 3차원 기하 구조와 로봇 상호작용 과정에 대한 정밀한 모델링 능력을 보여준다.
EWMBench:
Thinker‑WM은 종합 총점 4.66을 기록하며 Qwen‑RobotWorld, Sora2 등 주류 모델을 앞섰다. EWMBench는 장면 일관성, 로봇 말단(end-effector) 운동 정확성, 지시어 의미 정렬의 3대 능력 차원을 완전하게 평가한다. 표현 계층에서의 멀티모달 통합 모델링 덕분에 Thinker‑WM은 로봇 궤적의 시공간적 정합성을 반영하는 nDTW(정규화 동적 시간 워핑), 운동 속도와 가속도의 합리성을 나타내는 Dyn(동역학 일관성) 등 로봇 운동 핵심 지표에서 선두를 달성했다.
WorldArena1.0 Track-1:
시뮬레이션 환경 벤치마크인 WorldArena Track‑1에서 Thinker‑WM은 화질, 콘텐츠 일관성, 물리적 합리성, 3D 기하 정밀도, 지시 준수 등 12개 핵심 평가 차원에서 전반적으로 선두를 차지하며, 시뮬레이션 환경에서의 시각 생성 품질과 물리적 상호작용 신뢰성을 겸비했다. Thinker‑WM은 표현 계층에서 통일된 Unified Dynamic Transformer(UDT)를 핵심으로, RGB 이미지, 거리(depth), 로봇 액션을 동일한 공유 동적 표현으로 통합 진화시켜 비디오‑액션 통합 생성, 세계 예측, 정책 추론, 비디오→액션 변환, 역동역학 등 여러 능력을 하나로 구현하며 엠바디드 인텔리전스를 위한 차세대 기반 월드모델 토대를 제공한다.
02 Thinker-WM 기술적 돌파구: 표현 계층에서 시각·기하·액션 멀티모달 통합
로봇이 실제 세계에서 실질적인 일을 하기 위해 가장 어려운 것은 눈앞의 사물을 인식하는 것이 아니라 환경의 다음 변화를 예측하는 것이다. 이것이 바로 월드모델이 존재하는 가치와 의미인데, 기존 월드모델은 대체로 '조립식' 방식을 채택했다. 즉, 비디오 생성이 화면을, 정책 네트워크가 액션을, 기하 예측이 공간 정보를 담당하고, 각 모듈이 독립적으로 계산한 뒤 인터페이스를 통해 결합해 출력하는 방식이다.
그러나 이 기술 모델의 문제는, 액션이 환경을 바꾸고 환경이 액션을 제약하며 기하 구조가 양쪽 모두에 영향을 미치는데, 물리적으로 긴밀하게 결합된 신호가 서로 다른 모듈로 분리되어 그 내재적 인과 관계를 잃어버린다는 점이다.
예를 들어 '컵이 테이블에서 밀려 떨어졌다'는 사건은 언어에서는 한 문장의 서술이고, 액션에서는 일련의 관절 명령이며, 비디오에서는 화면을 가로지르는 물체 운동이고, 거리(depth)에서는 연속적으로 변화하는 거리장이다. 네 가지 표현이 가리키는 것은 동일한 사건이지 네 개의 서로 다른 객체가 아니다. 따라서 모델에게 그중 하나를 생성하도록 요구하는 것은 본질적으로 동일한 과정을 묻는 것이다.
그러나 이런 중첩은 불완전하다. 액션은 외형을 담지 않을 뿐 아니라 맥락도 담지 않는다. 동일한 관절 명령이라도 빈 테이블 위에서와 어질러진 테이블 위에서는 의미가 완전히 다르다. 언어 역시 시공간적 세부 사항을 담지 않는다. '컵이 테이블에서 밀려 떨어졌다'는 문장은 어느 쪽에서 얼마나 세게, 어떤 속도로 밀었는지 규정하지 않을 뿐 아니라, 손의 구체적 궤적, 컵이 몇 바퀴 회전했는지, 최종적으로 어디에 떨어졌는지도 규정하지 않는다. 비디오는 명시적 기하와 측량 정보를 담지 않으며, 일련의 픽셀로만 표현되어 컵의 크기도, 컵까지의 거리도 알지 못한다. 거리(depth) 역시 외형, 명명 의미, 의도를 담지 않는다. 표면이 어디에 있고, 어떻게 가려지고, 어떻게 접촉하는지는 알려주지만, 그것이 컵인지 테이블보인지는 알려주지 않으며, 하물며 왜 밀었는지는 더욱 알려주지 못한다.
이 문제에 대해 유비테크(UBTech) Thinker 팀은 새로운 해법을 제시했다. 인터페이스에서 단순 병합하는 것이 아니라 표현 계층에서 멀티모달 통합을 실현하는 것이다. Thinker-WM(Thinker World Model)은 유비테크가 자체 개발한 통합 멀티모달 월드모델로, RGB 비디오, 거리(depth), 로봇 액션을 동일한 중간 표현 공간으로 인코딩하고, 일련의 공유 파라미터에 의존해 통합 진화시킨다. 외형, 기하, 액션은 더 이상 세 개의 독립된 파이프라인이 아니라 동일한 세계 진화 과정의 세 가지 표현 형태이다. 즉, Thinker-WM의 하위 설계 논리는 다음과 같이 요약할 수 있다. 서로 다른 모달리티는 동일한 과정의 서로 다른 서술이며, 모델은 이를 공유 표현 공간으로 정렬하고 이 공유 표현 위에서 추론을 수행하는 것이지, 모달리티 인터페이스에서 조건부 조합을 수행하는 것이 아니다.
Thinker-WM: 시각, 기하, 액션의 통합 모델링 프레임워크
구체적으로 보면, RGB 이미지, 거리 정보, 로봇 액션은 각자의 인코더를 통해 통합 잠재 공간으로 매핑되고, 공유되는 통합 동적 Transformer(Unified Dynamics Transformer, UDT)에 입력되어 통합 시계열 모델링을 수행한 후, 최종적으로 각자의 디코더가 이를 복원하여 비디오, 깊이맵, 로봇 실행 가능 액션을 출력한다. 이는 멀티모달 상호작용이 Transformer 내부에서 일어난다는 것을 의미하며, 시각 토큰, 기하 토큰, 액션 토큰이 동일한 어텐션 메커니즘을 통해 직접 정보를 교환하는 것이지, 입력 또는 출력 계층에서 피상적인 결합을 하는 것이 아니다.
기하 정보 역시 더 이상 단순한 보조 감독 신호가 아니다. Thinker-WM은 거리(depth)를 원생 생성 모달리티로 취급하여 비디오와 일관된 잠재 토폴로지와 시공간적 구조를 공유한다. 거리 감독이 공유 표현을 직접 형성하여 물리적 공간 구조가 월드모델의 '모국어'가 되도록 하며, 후기 외장 보조 모듈이 아니게 함으로써 휴머노이드 로봇이 물리 공간을 더 정확하게 이해하도록 돕는다. 통합 모델링의 가치는 로봇의 실제 실행 결과에서도 드러난다. RoboTwin 단일 작업 소거 실험에서 거리 모달리티를 도입한 후, 조작 성공률이 거리 정보가 없는 베이스라인 대비 15%포인트향상되었으며, 이는 공간 기하 정보가 모델의 장면 이해에 도움이 될 뿐만 아니라 액션 생성과 작업 실행도 개선할 수 있음을 보여준다.
03 3만 시간 이종 데이터로 하나의 모델에 6가지 능력을 개방하다
멀티모달 통합 표현에 기반하여 모든 모달리티가 동일한 파라미터 세트를 공유하는 Thinker-WM은 조건 모달리티와 생성 모달리티를 유연하게 전환함으로써 6대 능력 모드를 지원할 수 있다.
동일한 가중치 하나로 미래 화면을 예측하고 상상할 수 있을 뿐만 아니라, 역으로 로봇 실행 궤적을 추론할 수 있고, 비디오에서 액션 정보를 추출할 수도 있다. 이것이 바로 통합 표현이 가져오는 핵심 기술적 이점이다.
04 3만 시간 이종 데이터, 범용 월드모델 토대를 떠받치다
통합 표현 능력의 이면에는 유비테크(UBTech)의 규모가 풍부하고 유형이 다양한 훈련 데이터의 지원이 있다. Thinker-WM의 훈련 코퍼스는 엠바디드 인텔리전스 분야에서 상당한 규모를 자랑한다:
- 약 2만 시간의 1인칭 인간 비디오가정, 상업 소매, 산업 등의 장면을 포괄하며, 로봇 텔레오퍼레이션으로는 저비용으로 확보하기 어려운 작업, 사물, 장면의 다양성을 보완한다. 아울러 약 1천 시간의 정렬된 거리(depth) 데이터가 함께 제공된다.
- 약 1만 시간의 실제 로봇 데이터다양한 형태의 여러 로봇에서 수집된 것으로, 시각 관측과 실행 가능 액션의 쌍(pair) 감독을 제공하며, 그중 약 3천 시간에 정렬된 거리(depth) 주석이 함께 제공된다.
- 약 1천 시간의 시뮬레이션 데이터：고정밀 기하학적·물리적 감독 신호를 제공한다.
로봇마다 동작 공간, 좌표계, 제어 프로토콜의 차이가 매우 크다. Thinker-WM의 통일 사상은 모델 프레임워크에만 적용되는 것이 아니라 데이터 선택에도 적용된다. 이 모델은 엔드 포즈(end pose)를 사용해 모든 로봇 동작을 통일된 방식으로 표현하며, 동시에 서로 다른 로봇을 위해 토큰에 전용 라벨을 삽입한다. 이렇게 하면 이질적인 형태의 로봇들이 동일한 생성 공간을 공유하면서도 정밀한 자기 제어 능력을 유지할 수 있다.
05 데이터 Infra: 방대한 이기종 데이터로 통합 모델 훈련을 효율적으로 지원
방대한 데이터가 모델 역량으로 전환되기 위해서는 안정적이고 효율적인 데이터 인프라가 필수적이다. 서로 다른 로봇, 인간 영상, 시뮬레이션 데이터 간의 형식·모달리티·주석 차이에 직면하여, UBTech Thinker 팀은 Data Factory를 구축해 데이터 관리와 훈련 샘플링을 분리함으로써 다양한 출처의 데이터를 모델 요구에 따라 유연하게 조합할 수 있도록 했다.
Data Factory: 다중 소스 이기종 데이터에서 통합 모델 훈련까지
Data Factory는 세 가지 핵심 단계를 중심으로 훈련을 지원합니다:통합 조직화비디오, 상태, 동작 및 언어 정보를 통합 조직화하여, 다양한 훈련 모드에 필요한 샘플을 요청에 따라 생성합니다;계층적 품질 검사를 통해 이상 세그먼트를 걸러내고, 깊이와 비디오의 정렬을 검사하여 훈련 신호의 신뢰성을 보장합니다;비동기 프리페치와 인코딩 재사용을 통해 훈련 데이터를 사전에 준비하여 대기 시간과 중복 연산을 줄입니다.
이 데이터 인프라는 다중 소스 이기종 데이터를 신뢰성 있게 조직화하고, 유연하게 호출하며, 효율적으로 공급할 수 있게 하여, Thinker-WM의 여섯 가지 능력 모드의 공동 훈련과 지속적인 반복 개선에 엔지니어링적 지원을 제공합니다.
06 Motion Probe 실험 설계를 통한 경량화 실험: 크로스모달 표현의 진정한 결합 검증
표현 차원에서 멀티모달을 통합한다는 것은 아키텍처 설계상의 혁신처럼 들리지만, 핵심적인 의문이 있습니다. 모델이 정말 공유 공간에서 시각, 기하, 동작 간의 결합된 연관성을 학습한 것인지, 아니면 단지 여러 경로의 정보를 병렬로 처리하며 서로 다른 모달리티를 단순히 나란히 두었을 뿐인지입니다.
이 질문에 답하기 위해, UBTech Thinker 팀은 경량화된 Motion Probe(운동 탐침) 검증 실험을 설계했습니다. 연구팀은 동결된 UDT 시각 표현 위에 매우 작은 운동 예측 헤드를 연결하고 이 헤드만 훈련하여, 순수 시각 표현만으로 엔드이펙터의 변위를 복원할 수 있는지 확인했습니다.
Motion Probe 개념도
실험 결과는 추측을 입증했습니다: 탐침의 예측 오차가 매우 낮았습니다. 동작 감독이 전혀 없었음에도, 시각 표현 안에 이미 동작과 관련된 운동 정보가 인코딩되어 있었던 것입니다. 이 결과는 표현 차원의 멀티모달 통합이 실제로 작동했음을 직접적으로 증명하며, 시각 인식과 동작 계획은 서로 독립된 두 개의 경로가 아니라 공유 잠재 공간 안에서 깊이 결합되어 있음을 보여줍니다.
07 이것이 의미하는 것
이는 또한 Thinker-WM의 이번 기술 돌파구의 가치가 단순한 리더보드 성적 그 이상임을 보여줍니다. 이는 엠바디드 월드 모델의 새로운 저변 패러다임을 제시합니다:
엠바디드 인텔리전스의 월드 모델은 "비디오 생성기 + 정책 헤드"의 단순한 조합이어서는 안 되며, 시각 관측, 공간 구조, 동작 계획이 하나의 물리적 세계 과정에 대한 서로 다른 표현인, 완전히 통합된 하나의 생성 과정이어야 합니다.
로봇이 동일한 표현 공간 안에서 화면 변화, 공간 구조, 동작 궤적을 동시에 추론할 수 있게 되면, 물리 세계의 인과 논리에 대한 이해가 한 걸음 크게 나아갑니다. 이는 로봇이 "작업을 수행할 수 있는 존재"에서 "실제 세계를 이해할 수 있는 존재"로 나아가는 핵심적인 도약입니다.
Thinker-WM은 UBTech 로봇 플랫폼에서의 배포 검증을 완료했으며, 관련 기술은 차세대 엠바디드 인텔리전스 시스템에 지속적으로 탑재될 것입니다.
Thinker-WM의 탐구는 이번 성과 발표로 끝나지 않습니다. 모델 기술 보고서와 이후 반복 개선 버전은 UBTech 공식 엠바디드 인텔리전스 개발자 커뮤니티 Thinker Cosmos에서 지속적으로 업데이트될 예정입니다. 월드 모델 2차 개발 능력 오픈 계획과 기술 해설 라이브 방송 예고도 개발자들에게 가장 먼저 공개될 것입니다. Thinker Cosmos(https://thinkercosmos.ubtrobot.com/)에 참여하여 엠바디드 인텔리전스 생태계를 함께 만들어 가시기 바랍니다.
프로젝트 링크
논문 링크: https://arxiv.org/abs/2610.18447
프로젝트 주소: https://thinkercosmos.ubtrobot.com/thinker-wm
GitHub: https://github.com/UBTECH-Robot/Thinker-WM
허깅페이스: https://huggingface.co/UBTECH-Robotics/Thinker-WM
본 글은 UBTech가 제공하였으며, QbitAI(量子位)의 허가를 받아 전재하였으며, 견해의 저작권은 원저자에게 있습니다.