10월 31일, 시후(西湖) 월드모델 연구센터가 윈구(云谷) 캠퍼스에서 설립되었다. 이 이름은 많은 사람들에게 혼란스러울 수 있다. '대규모 언어 모델'은 알지만, '월드모델(世界模型)'이란 무엇일까?
쉽게 말해, 이것은 '대규모 언어 모델'에 이어 인공지능 분야의 또 하나의 '핫 키워드'이다.
지난 몇 년 동안 대규모 언어 모델의 급속한 발전은 “방대한 지식을 섭렵”하고 “모든 것을 말할 수 있는” 능력에서 우리를 놀라게 했습니다. 그러나 언어를 다룰 줄 안다는 것이 곧 세계를 이해한다는 뜻은 아닙니다. 세계 모델은 바로 인공지능에 “사물을 탐구하여 지식을 얻는” 지혜와 “작은 징후로 큰 흐름을 알아보는” 통찰력을 부여하는 것입니다—물리 세계의 법칙을 탐구하고, 실제 세계의 작동을 추론하며, “세계를 관찰하는 것”에서 “세계관”으로 나아가는 것입니다.
2025년 말부터 2026년에 걸쳐 리페이페이(李飞飞), Yann LeCun 등 AI 분야의 선도자들이 잇달아 월드 모델 창업에 뛰어들었다. 그리고 바로 며칠 전, Google DeepMind가 세계 모델과 추론 모델을 융합한 Genie4를 공개했다.
시후(西湖) 월드모델 연구센터의 설립은 하나의 신호로, 시후대학이 이 방향에서 본격적으로 발전하겠다는 것을 의미한다. 사실 3년 전부터 시후대학 자율지능 연구실 AutoLab은 월드모델 연구를 시작했으며, 스타트업을 텃세(인큐베이팅)하여 기업계와 기술 상용화 협력을 진행해 왔다.
그래서 이 센터의 설립은 한 무리의 AI 연구자들을 끌어들였을 뿐만 아니라, 업계 연구개발 부서의 총괄들과 투자자 90여 명도 끌어들였습니다. 설립 대회 이후 열린 '물리 세계 모델 프론티어 포럼' 역시 이들의 관심이 집중되는焦点이었습니다.
그렇다면, 세계 모델이란 대체 무엇일까? 그것은 어떤 변화를 가져올 수 있을까? 그리고 새로운 사물로서, 사람들은 왜 그것에 대해 끊임없이 논의하고 있을까? 물론, 3년에 걸친 '조기 배치' 이야기도 있다.
01 월드 모델
‘세계는 어떤 모습인가’에서 ‘세계는 어떻게 될 것인가’로
일찍이 1990년, 강화학습 분야의 주요 창시자 중 한 명인 Richard Sutton은 세계 모델의 한 가지 정의를 내린 바 있다: 현재 상태와 행동이 주어졌을 때 다음 상태를 예측하는 것이다. 이는 모델이 ‘세계는 어떤 모습인가’가 아니라 ‘세계는 어떻게 될 것인가’에 답해야 함을 요구한다.
오늘날 AI로 비디오를 생성하는 것은 어렵지 않다. 더 어려운 것은, 컵이 책상 가장자리로 미끄러질 때 모델이 무슨 일이 일어날지 미리 판단할 수 있는가이다. Yu Kaicheng(于开丞)은 비유하기를, 과거 AI를 훈련시키는 방식은 AI에게 ‘대량의 시험 문제를 암기시키는 것’과 비슷했지만, 세계 모델은 물리 세계의 법칙을 ‘이해’하는 방식을 통해 최종적으로 정확한 예측을 내놓는 것에 가깝다고 말했다.
‘합성곱 신경망의 아버지’이자 튜링상 수상자인 Yann LeCun은 더 직설적으로 말했다: “텍스트 예측만으로는 AI가 인간 수준의 지능에 도달하는 일은 결코 없을 것입니다. 우리는 물리적 현실을 이해할 수 있는 모델이 필요합니다.”
대규모 언어 모델의 본질은 문자 기호의 확률적 예측이지만, 세계 모델의 목표는 ‘현실 세계의 다음 상태를 예측’하는 것으로, AI에게 시간, 공간, 인과관계 및 물리 상식을 부여하는 것이 목표다.
대중이 가장 잘感知할 수 있는 초기 세계 모델의 원형은 아마 2024년의 비디오 생성 모델 Sora일 것이다. 가장 고전적인 장면은 커피잔 안에서 파도를 가르며 나아가는 나무 범선이었고, 파도의 물결 질감은 놀라울 정도로 사실적이었다. Sora는 당시 ‘물리 세계의 범용 시뮬레이터’로 포지셔닝되었다.
이어서 자율주행 분야가 세계 모델의 실용화를 선도했다. 이런 세계 모델은 초사실적인 주행 비디오를 생성할 수 있을 뿐만 아니라, 악천후나 돌발 사고 같은 ‘엣지 케이스 시나리오’를 능동적으로 구성해 자율주행 모델을 훈련시킬 수도 있다. 이는 자율주행 훈련 과정의 부족한 부분을 보완해 준다. 현실 세계에서는 모델 훈련을 위해 일부러 교통사고를 낼 수는 없기 때문이다.
문제는, 사실적인 현실 장면을 생성할 수 있다는 것이 모델이 정말로 세계를 이해한다는 것을 의미하는가이다.
우천 상황 시뮬레이션 화면, 자율주행 훈련용 (Yu Kaicheng(于开丞) 팀의 초기 연구 결과 시연)
02“‘자기 부정’
——기계가 세계를 더 잘 이해하도록 하기 위해
1993년 산둥 출생인 Yu Kaicheng(于开丞)에게는 어떤 반전 매력이 있다: 그는 자신을 ‘쾌활하고 밝은 열정 대남자’라고 묘사하지만, 기술적인 면에서는 약간의 ‘반항기’가 있다.
2012년 그는 대학 입학시험에 응시해 점수가 칭화대와 베이징대에 진학할 수 있었지만, 마지막에는 홍콩대학을 지원했다. 홍콩대학에서 일급 우수(A级荣誉) 공학 학사 학위를 받은 후, Yu는 스위스 로잔연방공과대학원으로 직접 박사과정에 진학해 자동 머신러닝을 전공했다. 박사 졸업 후에는 인텔 지능형 시스템 연구소, Abacus.AI, 알리바바 다모연구원에서 관련 분야의 연구를 수행했다.
다모연구원에서 Yu는 주로 자율주행 관련 연구를 했다. 이 과정에서 그는 점차 전통적인 훈련 방법의 한계를 깨달았다. 전통적인 자율주행 기술의 본질은 ‘기계적 암기’로, 훈련 데이터셋에 고도로 의존한다. ‘문제은행’에서 본 적 있는 시나리오는 모델이 처리할 수 있지만, 드문 돌발 상황을 만나면 쉽게 오류를 일으킨다.
2023년, 그는 알리바바를 떠나 시후대학(西湖大学)에 합류해 자율지능 연구실 AutoLab을 설립하고 세계 모델 방향의 연구를 시작했다. 올해 큰 주목을 받고 있는 세계 모델은 당시에는 다소 마이너한 개념이었다.
자율주행 롱테일 시나리오 훈련의 난제에 대해 당시 분야에는 주로 두 가지 해결思路가 있었다. 첫 번째는 합성 데이터를 생성해 희귀 시나리오 샘플을 만든 후 모델에 입력해 훈련시키는 것이고, 두 번째는 근원적으로 모델이 융통성 있게 응용할 수 있도록 미지의 시나리오를 추론하는 능력을 갖추게 하는 것이다. 물론 후자가 더 어렵다.
시후대학에 처음 들어간 Yu와 팀은 상대적으로 난이도가 낮은 첫 번째 루트를 우선적으로 선택해 탐색하며, 극단적인 시나리오의 비디오를 생성해 자율주행 모델을 훈련시켰다. 이 길에서 빠르게 성과를 냈고, 2024년 ECCV 자율주행 트랙에서 세계 1위를 차지했으며, 점수가 2위를 크게 앞섰다.
국내 최고 수준의 자동차 회사와 깊이 협력해 시스템을 배치하는 과정에서 Yu와 팀은 이 루트의 근본을 의심하기 시작했다. 모델이 이미 사실적인 데이터를 생성할 수 있다면, 그것은 어느 정도 이 세계를 이해하고 있다는 뜻이다. 그렇다면 계속 픽셀을 렌더링하는 것은 대체 무엇을 위한 것인가?
2024년 말, AutoLab은 새로운 기술 루트로 전환해 ‘개념 세계 모델’을 제안했다. 즉, 더 이상 픽셀을 생성하지 않고 추상적인 수학적 잠재 공간(latent space)에서 물리적 개념의 표현을 구축하는 것이다. Yu는 이때부터 모델은 사람처럼 복잡한 장면을 유한한 개념으로 분해하고, 이 개념들을 다시 조합하여 훈련 데이터에서 한 번도 온전히 나타난 적 없는 새로운 장면을 ‘이해’해야 한다고 말했다.
다시 말해, ‘개념 세계 모델’은 복잡한 물리 환경, 사물의 속성, 공간 관계 및 행동의 결과를 공간 관계, 재질 특성, 접촉 상태 등 재사용 가능한 물리적 개념으로 분해한다. 완전히 새로운 장면을 만났을 때 모델은 장면 전체를 다시 학습할 필요 없이, 기존 개념들을 잠재 공간에서 재조합하여 추론을 수행한다.
연구가 2025년에 접어들면서, 팀은 실험에서 개념 분해와 연관 메커니즘이 구축된 후, 모델이 복잡한 작업에서의 성공률이 전통적인 모방학습 및 강화학습 베이스라인에 비해 현저히 향상되었고, 동시에 낮은 예측 비용을 유지한다는 것을 관찰하기 시작했다.
이는 암시적 세계 모델(implicit world model)의 기술 노선으로, AutoLab은 국내에서 초기 검증을 완료한 소수의 팀 중 하나가 되었으며, 이러한 연구 진전은 이후 회사 분사(스핀오프)를 위한 토대가 되었다.
03 자율주행만이 아니다
——AI가 현실 세계를 관통할 때
2026년 초, 시후수즈(西湖数智) Awomo가 정식으로 설립되었다. 회사의 포지셔닝은 물리 세계의 기초 파운데이션 모델 기업으로, 대규모 언어 모델을 벤치마크로 삼아, 자동차 기업에 맞춤형 솔루션을 납품하는 것에 그치지 않고 네이티브한 물리 파운데이션 모델을 만드는 것을 목표로 한다.
AutoLab이 개발한 '개념 세계 모델'은 2026년에 정식 명칭을 갖게 되었다. 바로 Awomo이다. Awomo는 네 개의 국제 권위 있는 로봇 평가 벤치마크에서 모두 1위를 차지하며, 환경 교란, 정밀 조작 및 장기 시퀀스 태스크에서 이 노선의 일반화 능력을 한층 더 입증했다.
현재 이 스타트업은 누적 억 위안을 넘는 시드 라운드 및 엔젤 라운드 투자 유치를 완료했으며, 투자자로는 잉뤄펀드(英诺基金), 둥팡자푸펀드(东方嘉富基金), 정쉬안투자(正轩投资), 톈치캐피털(天启资本), 시후혁신투자펀드(西湖创新投资基金), 진마투자(金蚂投资) 등 하드테크 투자 기관들이 포함되어 있다.
그리고 자율주행은 세계 모델의 응용 시나리오 중 하나일 뿐이다. 세계 모델은 로봇의 '물리적 두뇌'가 될 수도 있는데, 복잡한 교란에 직면했을 때 로봇은 잠재 공간(latent space)에서 물체의 속성과 행동의 결과를 빠르게 추론하여, 파지, 조립 및 장기 시퀀스 협업 태스크를 정밀하게 수행할 수 있다.
더 큰 변화는 데이터 학습 방식에서도 일어날 것이다. 기존의 AI 학습은 방대한 학습 데이터를 필요로 하며, 이는 매우 높은 연산 비용을 의미한다. 그러나 위카이청(于开丞)의 구상에서는, 범용 물리 베이스를 기반으로 하면 하위 개발자나 소기업이 더 이상 백만 시간 규모의 데이터를 수집할 필요가 없고, 단 20에서 30시간의 후속 학습(post-training)만으로도 특정 분야의 모델을 빠르게 맞춤 제작할 수 있을 수 있다.
장기적으로 볼 때, 세계 모델은 결국 일반인의 개인화된 창작 수요에 부응하게 될 것이며, 이것이 위카이청이 확신하는 바이다. 방대한 학습의 부담이 크지 않기 때문에, 사용자는 '모델로 세계를 구축하는' 능력을 활용해 개인 차고의 수공예 작업장을 꾸리듯, 자신만의 개인 로봇이나 개인화된 지능 비서를 직접 구축할 수 있다.
이 모든 응용은 세계를 마주했을 때 AI가 제시하려는 행동으로 이해할 수 있으며, 모든 행동은 궤적을 남긴다. 바로 이 때문에 위카이청은 동시에 오래된 서예도 연구하고 있다. 중국 한자는 상형 문자로, 타고난 구조감과 공간감을 지니고 있다. 한자가 갑골문에서 오늘날까지 발전해 온 것은 본질적으로 현실 세계의 실체를 2차원 평면 기호로 압축하는 과정이다.
'갑골문이 바로 최초의 잠재 공간(latent space)입니다.'라고 위카이청은 말했다.
그리고 의도나 개념을 획으로 변환하는 과정은, 로봇의 동작 제어 및 궤적 계획의 이면에 있는 수학적 논리와 근본적으로 서로 통한다. 수천 년이 지났지만 우리는 여전히 이 세계의 법칙을 추상화하려 하고 있으며, 다만 도구를 바꾸었을 뿐이다.
부록: 시후 세계 모델 연구센터 소개
시후 세계 모델 연구센터(Westlake World Model Center)는 2026년 10월에 정식으로 설립되었으며, 시후대학교가 물리 지능 분야를 위해 설립한 교급 융합 과학연구 플랫폼이다. 센터는 위카이청 교수가 소장을, 진야오추(金耀初) 원사가 수석 과학자를 맡고, 여러 PI가 공동으로 각 방향의 연구 과제를 수행하고 있다.
센터는 인공지능이 언어적 인지에서 물리적 상호작용으로 나아가는 발전 방향을 지향하며, 세계 모델과 물리 지능에 초점을 맞추고, 지능 시스템이 물리 법칙을 이해하고 환경 변화를 예측하며 상호작용적 의사결정을 수행하는 핵심 병목을 돌파하는 데 힘써, 국제적 선도성을 지닌 물리 지능의 학술적 요충지이자 혁신 엔진을 구축하고자 한다.
센터는 세계 모델을 핵심 연구 방향으로 삼아 지각, 인지, 예측과 행동이 결합된 지능 체계를 탐구하며, 인공지능이 실제 환경에서 세계를 이해하고 미래를 추론하며 자율적으로 행동하는 능력을 갖추도록 추진한다. 시후대학교의 과학연구 기반과 융합 학문 분야의 우위에 힘입어, 센터는 여러 분야의 연구 역량을 결집하고 기초 이론, 핵심 기술, 응용 탐구의 협력적 발전을 촉진하며, 물리 법칙을 이해하고 행동의 결과를 예측하며 실제 피드백 속에서 지속적으로 학습할 수 있는 범용 세계 모델을 연구 개발함으로써, 차세대 인공지능 분야에서 우리나라의 자주 혁신과 최전선 전략 배치를 지원하고자 한다.