멍야오(梦瑶), 아페이쓰(凹非寺)에서 발송
양자위(量子位) | 위챗 공식계정 QbitAI
이거 잘됐네,바이트이번에는 AI 생성을 오픈 월드로 만들어버렸다?!
봐요, 문장 한 마디만 입력하면 AI가 미니어처 인형의 시점에서 본 방을 저절로 roll 해줘요~
이어서 키보드와 마우스를 거칠게 두드리는 조작을 하면, 우리는 종이비행기를 타고 사이버 세계에서자유 비행, 어디든 가고 싶은 곳으로 자유롭게 떠나세요:
이것이 전부가 아닙니다. 이 AI가 생성한 세계에서는 눈앞의 것조차 손쉽게 만들어낼 수 있습니다!
스푼이 필요하세요? 그냥 허공에서 하나 빚어내세요, 심지어…
우리는 아직 숟가락과상호작용,일상 식기를 대형 암벽 등반 장으로 만들어버리는——
물론, 이 세계가 할 수 있는 일은 이것보다 훨씬 더 많다.
~에 힘입어어디로든지 문기능 덕분에 전혀 관련 없는 두 시나리오도 직접 연결될 수 있습니다.
방 안에 있던 순간까지도 그랬는데, 다음 순간 문을 열고 나갔더니 우주 공간으로 뛰어들어간 거야?!
이렇게 마술적인 장면이 바로 막 막을 내린더우인(抖音) 그룹 《2026 美好奇妙夜》테크 프로그램 현장, 시연자는 바로 영시주풍(影视飓风)의 Tim이다.
더욱 주목할 점은, 이 일련의 사이버 창조물이라 할 만한 작업의 배후에는 바로바이트계속 조용히 개발해 온세계 모델.(충격.jpg)
모델이 아직 정식 출시되지는 않았지만, 현장 시연을 볼 때 이미 그 실력을 보여주었다.3D 장면 생성, 자유 탐색, 실시간 상호작용, 객체 편집,심지어 서로 다른 공간 사이를자유롭게 연결하는 능력까지~
이번에 바이트가 프로그램 현장에서 이를 직접 시연하며 자사의 월드 모델을 기습적으로「첫 공개」한 것도, 미리 근육 좀 보여준 셈이 되었다.
그리고 보니 참으로 감회가 새롭다. 이 몇 년간, 리페이페이가 창립한 World Labs부터 Google DeepMind의 Genie, 그리고 엔비디아의 Cosmos까지.
수많은 테크 기업들도 잇달아 뛰어들어 AI가 공간 구조를 더 깊이 이해하고 현실의 법칙을 시뮬레이션하며, 나아가 환경이 사람의 행동에 따라 어떻게 변하는지 예측하려 하고 있다.
오늘날 AI는 SF 영화 속 세계를 현실로 빚어내고 있다.
하나의 세계를 그려내는 것에서, 세계 전체를 「살아 있게」 만드는 것까지
짐작컨대, 몇 년 전 AIGC를 가장 먼저 즐기던 사람들조차 미처 상상하지 못했을 것이다——
언젠가 AI가 생성한 영상이, 안에 직접 들어가고 상호작용도 지원하며 유연하게 편집까지 가능한 사이버 3차원 세계로 변모하리라고.
내가 조금 세어 보니, 올해 초부터 지금까지 내가 직접 체험해 본 월드 모델 제품만도 대여섯 일곱 개 정도 된다。。。
그 충격의 정도란, 전날 《인터스텔라》를 보다가 다음 날 자신이 스크린 속으로 걸어 들어갈 수 있음을 발견하고, 엎드려 블랙홀까지 거실로 옮겨올 수 있게 된 것에 버금간다.
그렇다면 AI는 어떻게 이미지·영상 생성에서 이토록 매끄럽게 「전직」해서 세계를 만드는 걸까?!
이 이야기는 전통적 멀티모달 생성의 한 기술적 약점에서 시작해야 한다.(doge)
오늘날 월드 모델은 여러 기술 노선으로 파생되어, 추상적 상태 예측, 물리적 인과 모델링, 생성형 3차원 세계 등 저마다의 중점이 있다.
여기서 우리가 다루려는 것은 주로 멀티모달 생성 및 공간 지능과 관련된 노선이다:
AI가 현실 세계의 공간 구조와 변화 법칙을 학습하게 하고, 나아가 지속적으로 탐색하고 실시간 상호작용이 가능한 3차원 세계를 생성·재구성·시뮬레이션하는 것이다.
여기서 강조해야 할 것은 두 가지 핵심 단어다:공간 구조그리고변화 법칙。
그리고 이 두 가지 능력은 바로 지난 몇 년간 시각 생성 기술이 아직 완전히 해결하지 못한 근본적인 난제를 정확히 짚어낸 것입니다.
△AI 생성
2024년, OpenAI가 Sora를 공개하며 놀라운 생성 영상이 온 인터넷을 함께 새뮤얼 올트먼과 같이 충격에 빠져 어찔어찔 주저앉게 만들었다.
하지만 그 당시 화면을 가득 채웠던 영상들에 비해, OpenAI가 같은 시기에 발표한 기술 보고서는 오히려 오늘날 다시 읽어볼 가치가 있다——
《Video generation models as world simulators》, 직역하면「세계 시뮬레이터로서의 비디오 생성 모델」。
당시 OpenAI는 비디오 생성 모델의 규모가 커짐에 따라 모델이 일정한 3차원 일관성과 객체 지속성을 나타내기 시작했으며, 심지어 간단한 환경 상호작용까지 시뮬레이션할 수 있게 되었다는 사실을 발견했습니다.
그러나 곤란한 점은, 사실적인 세계 장면을 생성할 수 있는 모델조차 여전히 가장 기본적인 '물리적 관계'조차 제대로 처리하지 못할 수 있다는 것입니다.
예를 들어 Sora는 사람이 러닝머신 위를 달리는 장면을 생성할 수 있는데, 인물, 빛과 그림자, 카메라 앵글까지 모두 그럴듯합니다.
하지만 자세히 보면 인물의 동작과 러닝머신의 움직임 사이의 관계가 현실의 물리 법칙과 반드시 일치하지는 않습니다. 화면은 매우 사실적인데, 물리 법칙은 좀 운에 맡긴 듯하다??
△이미지 출처: OpenAI 공식 홈페이지
이 배후에는 사실 전통적인 시각 생성 기술의 상당히 근본적인 문제가 드러나 있습니다.
지난 몇 년 동안 확산 모델이든 Transformer 기반 생성 아키텍처든, 주류 이미지·비디오 모델은 주로 방대한 시각 데이터 속에서 학습해 왔습니다.통계적 법칙조건에 맞는 화면을 생성하는 데 사용됩니다.
이 방법론은 상당히 성공적이어서, 심지어 3차원 기하학의 일부, 물체 간의 관계, 그리고 물리 법칙까지 암묵적으로 학습할 수 있게 되었다.
하지만시각적 시공간 연속성이 반드시 외부 행위의 개입이 가능한 안정적인 세계 상태에 대응하는 것은 아니다——
예를 들어, 영상 속에서 컵이 처음부터 끝까지 동일한 외관을 유지하게 하는 것은 오늘날의 생성 모델에게는 이미 비교적 쉬운 일입니다.
그러나 물건이 집어지고, 내려놓아지고, 심지어 테이블 가장자리에서 밀어 떨어질 때, 모델은 공간적 위치, 물체 간의 관계 및 상태 변화를 지속적으로 추적하고, 충돌이나 낙하와 같은 물리적 결과를 예측해야 합니다.
즉, 물리적 직관에 부합하는 영상을 생성하는 것에서 벗어나, 동작이 초래하는 환경 변화를 신뢰할 수 있게 예측하는 것 사이에는 여전히 세계 상태 모델링 문제라는 간극이 존재한다.
그리고 이것이 바로 월드 모델이 탁월한 분야다.
올해 6월, 리페이페이(Li Fei-Fei) 팀이 《A Functional Taxonomy of World Models》라는 제목의 글을 발표했습니다.
이 글은 기능적 관점에서 세계 모델을 세 가지 유형으로 나누어, 세계 모델이 과연 어떤 '진짜 실력'을 갖추고 있는지에 대한 더 명확한 설명을 제시한다 —
- 렌더러: 세계를 담당~인 것 같다모습이 어떠한지 사람을 대상으로 한 시각적 화면을 출력하며, 핵심 목표는 화면의 사실감과 시각적 표현력입니다.
- 시뮬레이터: 세계를 책임지다실제위가 어떤 모습인지, 기하학적·물리적 인과에 부합하는 장면 상태를 유지합니다.
- 플래너: 에이전트가 다음에 어떻게 해야 하는지를 담당행동현재 세계 상태와 주어진 목표를 바탕으로 합리적인 행동을 출력한다.
이 구분이 흥미로운 점은, AI가 이미 진짜와 구분하기 어려운 영상을 생성할 수 있음에도 불구하고 우리가 왜 그토록 애를 써서 세계 모델을 연구하는지를 정확히 설명해준다는 데 있다.
사실적인 시각 화면을 생성하는 것부터, 물리 법칙에 부합하는 환경 상태를 유지하는 것, 그리고 에이전트의 자율적 의사결정과 행동을 지원하는 것까지—
그 이면에 관련된 공간 표현, 동적 예측, 행동 계획 능력이 바로 기존 멀티모달 생성 모델이 아직 충분히 해결하지 못한 기술적 난제이다.
그런데 오늘날 논문 속 그렇게 요원해 보이던 세계 모델 구상들이, 이미 AI에 의해 한 조금씩 '만들어지고' 있기 시작했다.
△ 이미지 출처: 《A Functional Taxonomy of World Models》 기사
예를 들어더우인 그룹 《2026 美好奇妙夜》테크 쇼에서 바이트 AI 모델을 기반으로 구현된 그 사이버 조물 조작을 들 수 있다.
한 문장만으로 화면을 생성하는 것은 오늘날 이미 별다른 신기한 일이 아니다.
그러나 사람이 실제로 이 AI가 생성한 장면 속으로 걸어 들어가 자유롭게 돌아다닐 수 있게 되면, 이때 모델이 처리해야 할 것은 눈앞의 이 한 장면을 생성하는 것에서 확장되어 장면 전체의 공간 구조를 유지하는 것에 이른다.
사람이 어느 방향으로 이동하든, 어떤 각도에서 관찰하든, 장면 속 지형과 물체 및 그 상대적 위치는 충분한 기하학적 일관성을 유지해야 한다.
그 배후에는 바로 세계 모델의공간 표현 능력이 있으며, 이는 AI가 생성한 장면이 반복적인 탐색에도 진정으로 견딜 수 있게 하는 기반이기도 하다.
숟가락을 원하면 AI가 그대로 생성해내고, 심지어 숟가락을 따라 기어가며 실시간 동작 상호작용까지 가능하다.
겉보기에 간단해 보이는 몇 단계의 조작 뒤에는 세계 모델의실시간 생성, 환경 상태 모델링 및 동적 예측 능력——
이 자리하고 있다. 모델은 사용자의 조작에 따라 장면 내 물체와 공간적 관계를 실시간으로 갱신하고, 동작이 초래하는 환경 변화를 지속적으로 예측하며前后 상태의 일관성을 유지해야 한다.
심지어 공간 자체도 손쉽게 개조할 수 있다. 「어디로든지 문」을 하나 그리면 현실의 방과 우주 공간을 바로 연결할 수 있다.
이 단계에 이르면 세계 모델의 능력은 한 층 더 앞으로 확장된다——3차원 장면 재구성, 공간 컨트롤 가능한 편집 및 장면 간 연속성 모델링.
모델은 기존 장면의 공간 구조를 유지하면서 서로 다른 장면의 기하학적 관계를 동적으로 재구성할 수 있으며, 장면 간 연속 탐색과 실시간 상호작용을 지원한다:
공간 구조 유지에서 실시간 상호작용 대응으로, 나아가 장면 편집과 공간 간 재구성 지원까지, 바이트 AI 모델의 능력이 함께 가리키는 것 역시 세계 모델의 핵심 특징이다——
AI가 생성하는 것은 더 이상 콘텐츠만이 아니라, 지속적으로 존재하고 지속적으로 변화하며 지속적으로 상호작용하는 디지털 세계이다.
지난 몇 년간 대규모 언어 모델은 AI가 언어와 지식을 처리하는 능력을 끊임없이 확장해 왔고, 멀티모달 모델은 생성 능력을 이미지, 소리, 영상으로 확장했다.
그리고 이제 세계 모델의 발전과 함께 AI는 공간 구조, 환경 상태 및 그 진화 법칙을 한층 더 탐구하기 시작했다.
생성형 AI의 기술 발전 역시 화면이 얼마나 사실적인가에서, 생성된 환경이 지속적으로 존재하고 상호작용에 응답하며, 나아가 실제 세계의 작동을 모사할 수 있는가로 나아가고 있다.
세계 모델, AI가 가상 세계에서 「진짜 실력」을 갖추게 하다
물론 세계 모델이 인간이 사이버 세계를 곳곳에서 탐험하게 하는 데에만 쓰인다면 다소 대재소용일 것이다.
더 큰 산업적 좌표에서 보면, 세계 모델에는 한 층 더 상상력을 자극하는 가치가 있다——
기계가 가상 세계에서 대규모로 훈련하고 반복적으로 시행착오를 거친 뒤, 습득한 능력을 현실로 전이하게 하는 것이다.
어쨌든 로봇, 자율주행 등 물리 AI의 발전은 실제 데이터 수집 비용이 높고, 시행착오 주기가 길며, 위험하고 극단적인 상황은 재현하기 어렵다는 현실적 제약에 오랫동안 발목 잡혀 왔다.
세계 모델은 새로운 경로를 제시한다: 현실 환경을 생성 가능하고 제어 가능하며 반복 검증 가능한 가상 훈련장으로 전환하는 것이다.
희소한 훈련 데이터 생성에서 복잡한 환경 시뮬레이션, 행동 전략 검증에 이르기까지, 원래 실제 환경에 의존하던 일부 훈련 환경이 가상 세계에서 완료될 수 있을 것으로 기대된다.
이로써 세계 모델은 콘텐츠 생성에서 한 걸음 더 나아가 물리 AI의 훈련과 검증 환경으로까지 확장되며, 로봇, 자율주행 등 분야의 중요한 기술 탐구 방향이 되고 있다.
△AI 생성
먼저 「훈련 데이터」 문제부터 이야기해 보자.
자율주행 같은 물리 AI 시스템의 경우, 핵심적인 극단적 상황일수록 훈련 데이터는 흔히 더욱 희소하다.
예컨대 돌발 사고, 극단적 기상 등 저빈도 고위험 상황은 수많은 주행 거리를 달려도 몇 번 만나기 어렵지만, 세계 모델은 바로 이런 상황을 필요에 따라 생성하고 반복적으로 시뮬레이션할 수 있다.
더우인 그룹의 《2026 美好奇妙夜》 기술 프로그램 현장에서, 그들은 바로 이런 자율주행 데모를 선보였다——
구급차가 갑자기 다가오고, 행인이 횡단보도를 건너고, 교통경찰이 현장에서 교통을 지휘한다.
각종 복잡한 도로 상황이 AI가 생성한 가상 도로로 옮겨지며, 차량은 그 안에서 주행을 시뮬레이션하고 돌발 상황에 대응할 수 있고, 멀티캠 리플레이로 운전 성과를 분석할 수도 있다.
과거 대량의 실제 도로 테스트를 통해야만 축적할 수 있었던 롱테일 시나리오는 이제 세계 모델을 통해 대량으로 생성하고, 자율주행 시스템의 반복적인 훈련과 검증에 활용될 수 있을 것으로 기대된다.
훈련 데이터 외에도, 월드 모델의 산업적 가치는 또 다른 핵심 측면에 있다. 바로물리 AI의 훈련 및 검증 효율 향상이다.
누구나 알다시피, 실제 로봇은 훈련할 때마다 동작을 실행하고 피드백을 기다려야 하며, 실패 시 수동复位(리셋)가 필요하거나 하드웨어 손상의 위험까지 감수해야 할 수 있다.
하지만 이 일이 3차원 세계에서 이루어지면, 원래 많은 시간을 소모하던 시행착오 과정이 반복 가능하고 병렬화 가능한 시뮬레이션 실험으로 바뀔 기회가 생긴다.
이번 더우인 그룹 《2026 奇妙夜 美好》 과학 기술 프로그램 현장의 가사 로봇 시연은 바로 이와 유사한 발상을 보여준 사례다.
AI가 생성한 가상 가정 환경에서 로봇은 사물 잡기, 옮기기, 정리하기 등 가사 작업을 연습할 수 있으며, 끊임없이 변하는 물체 위치와 공간 배치에 맞춰 동작 전략을 조정하고 과제 완수를 시도할 수도 있다.
작업에 실패하더라도 가상 환경에서 문제를 빠르게 재현하고 전략을 조정하며 반복적으로 훈련하고 검증할 수 있다.
현실에서 한 번 또 한 번 조작하고 수동으로 초기화하는 것과 비교해, 월드 모델은 로봇이 서로 다른 시나리오에서 병렬로 시행착오를 겪을 기회를 제공하여더 낮은 비용, 더 빠른 속도로 현실 환경에 대응하는 실력을 익히게 한다.～
업계 전체를 보면, 테크 거대 기업들이 이미 서로 다른 방향을 따라 월드 모델의 산업 적용 탐색을 시작했다.
올해 3월,엔비디아는Cosmos 월드 모델과 Isaac 시뮬레이션 플랫폼을 결합하여 로봇이 가상 환경에서 데이터를 생성하고 반복 훈련하도록 했다.
이 산업용 시뮬레이션 솔루션은 로봇의 훈련부터 실제 배포까지의 비용을 크게 낮출 것으로 기대된다.
△ 이미지 출처: 엔비디아 공식 웹사이트
더 주목할 만한 점은, 이 열풍이 심지어 상류 칩 거대 기업까지 끌어들였다는 것이다.
바로 지난 9월,AMD는 82억 달러를 들여 리페이페이(李飞飞)의 World Labs를 인수하겠다고 발표했으며이는 월드 모델의 연산 수요에 미리 대비하고 차세대 칩 개발의 길을 닦기 위한 것이다.
로봇의 가상 수련에서 산업 시뮬레이션을 거쳐 칩 거대 기업의 직접 참여까지.
월드 모델의 산업 경쟁은 산업 사슬을 따라 계속 확장되며, 모델 역량과 실제 응용에서 점차 하부 연산 아키텍처로 깊이 들어가고 있다.
월드 모델 글로벌 경쟁, 중국 플레이어들의 기술 축적이 결실을 맺기 시작
월드 모델 열기는 정말 뜨겁지만, 열풍 이면에서 흥미로운 산업 현상 하나도 점차 드러나고 있다.
국내외 기업들이 모두 공간적으로 안정적이고 실시간 상호작용이 가능한 3차원 세계를 구축하는 방법을 탐색하고 있지만, 각사의 기술 축적, 연구 개발 중점과 응용 경로에는 적지 않은 차이가 있다——
기술 목표는 점차 수렴하고 있지만, 구현 경로는 각자의 노하우가 있다.
해외의 예를 들면, Google DeepMind의 Genie, 리페이페이의 World Labs 모두 범용 월드 시뮬레이션 역량을 탐색하고 있으며, 공간 구조, 환경 동역학 모델링과 상호작용형 장면 생성에 중점을 두고 있다.
엔비디아의 Cosmos는 물리 AI의 실제 수요에 더 가까이 있으며, 월드 모델을 로봇 시뮬레이션, 합성 데이터 생성과 결합하여 가상 훈련과 현실 응용을 잇는 것을 시도하고 있다.
몇 가지 노선은 각기 다른 중점을 두고 있지만, 최종적으로 모두 하나의 목표를 향하고 있다:AI가 생성한 가상 환경이 점차 현실 세계를 시뮬레이션하는 능력을 갖추도록 하는 것이다.
이제 시선을 국내로 돌려보자.
주목할 만한 강점 하나는, 해외의 범용 월드 시뮬레이션 중심 탐색 경로에 비해, 국내 기업들이 지난 몇 년간이미지, 영상 생성 분야에서 축적한 기술 역량이 월드 모델에 경쟁력 있는 또 다른 진화 경로를 제공했다는 점이다.
올해 7월Seedance 2.5는단일 영상 생성 길이를 30초로 확장했을 뿐만 아니라, 멀티모달 참조 제어, 카메라 움직임과 연속 내러티브 능력도 강화했다.
같은 시기에 발표된 이미지 생성 모델Seedream 5.0 Pro나아가 공간 위치 이해, 구조 일관성, 그리고 인터랙티브한 정밀 편집을 한층 강화했습니다.
사용자가 화면에 한 위치를 동그라미 치거나 심지어 대충 몇 획 그리기만 해도, 모델이 지정된 영역을 대상으로 수정을 수행할 수 있습니다. 진정한 '그리는 곳이 바로 수정되는 곳'입니다.
공간 구조의 일관성부터 긴 시간축의 동적 연속성, 그리고 외부 조작에 대한 정밀한 반응까지, 이는 바로 인터랙티브 3차원 세계를 구축하는 데 피할 수 없는 기술적 과제들입니다.
지난 몇 년간 국내 기업들이 시각 생성 및 제어 가능한 편집 분야에서 축적해 온 기술이 이제 범용 세계 모델로 확장될 잠재력을 보이기 시작했습니다.
1895년, 뤼미에르 형제는 역으로 진입하는 기차를 스크린에 올렸습니다.
당시 사람들은 이 새로운 발명이 그 후 100년이 넘는 세월 동안 인류가 세계를 기록하고 표현하는 방식을 완전히 바꾸어 놓을 것이라고 상상하기 어려웠을 것입니다.
한 세기가 넘은 후, 컴퓨터 그래픽과 가상현실 기술이 잇달아 등장하면서 인류는 스크린 속 세계를 보는 것에서 디지털 세계에 몰입하여 경험하고 탐험하는 것으로 나아가기 시작했습니다.
오늘날 세계 모델의 등장은 100년 넘게 이어져 온 이 기술 진화에 새로운 전환점을 가져왔습니다—
기계가 현실 세계의 공간 구조와 작동 원리를 학습하기 시작하면서, 지속적으로 탐색하고 실시간으로 상호작용하며 나아가 현실을 시뮬레이션하는 데 활용될 수 있는 가상 환경을 생성하려 하고 있습니다.
100여 년 전, 인류는 영상으로 세계를 기록하는 법을 배웠습니다.
100여 년이 지난 지금, 우리는 영상이 직접 들어가고 나아가 현실을 바꿀 수도 있는 세계가 되도록 시도하기 시작했습니다.
100여 년이 지난 지금, 이번에 우리는 마침내 우리가 만들어낸 영상 속으로 들어가는 시도를 시작하려 한다.