“AI가 영상을 생성하는 것”에서 “AI가 만든 세계를 직접 경험하는 것”까지, 그 사이에는 사실 “실시간”에 관한 한계가 있습니다.
2026년 10월 15일, 쿤룽만웨이는 세계 최초로 단일 소비급 그래픽 카드에서 실행되는 비디오 대형 모델 게임인 Matrix-Game 4.0을 공식적으로 출시했습니다. Matrix-Game 4.0은 게임 세계 모델의 새로운 패러다임을 구축했습니다: 게임 엔진이 세계 상태와 상호작용 규칙을 관리하고, 비디오 생성 모델이 실시간으로 정교한 화면을 표현합니다. 이 게임은 480p, 60 FPS의 실시간 게임 경험을 NVIDIA RTX 5090 하나에 담았습니다; 키를 누르는 순간부터 화면이 반응하는 데 걸리는 지연 시간은 150밀리초 미만입니다. Matrix-Game 4.0은 "코드 생성 게임 논리 → 구조 화면에 구조 제약 제공 → 비디오 모델 실시간 렌더링"이라는 전체 순환 루프를 처음으로 완벽하게 구현했으며, 이로써 게임 프로토타입 개발, 개인화 설정 및 UGC가 실제로 실행 가능한 기술路径를 갖게 되었습니다. 프로젝트는 이미 오픈소스로 공개되었습니다.
오픈소스 주소
Huggingface：https://huggingface.co/Skywork/Matrix-Game-4.0
1. 한 줄의 코드에서 플레이 가능한 세계까지 – Matrix-Game 4.0의 네 가지 기반 요소
1. 단일 카드 실시간: "플레이 가능한 비디오 모델"을 실험실 밖으로 내보내기
소비자용 그래픽 카드에서 실시간으로 게임 화면을 생성하는 것은 쉽지 않은 목표였습니다. 비디오 생성 모델은 연산 능력에 대한 요구가 커서, 오랫동안 실험실의 다중 카드 클러스터 안에만 존재했습니다.
Matrix-Game 4.0이 제시한 답은 몇 가지 구체적인 지표입니다: NVIDIA RTX 5090 단일 칩으로 480p 해상도에서 60 FPS로 게임을 실행할 수 있으며, 플레이어의 키 입력부터 첫 프레임 반응까지의 엔드투엔드 지연 시간은 150밀리초 미만입니다; 단계별 노이즈 제거를 통한 정상 상태 생성 속도는 83 FPS이며, 그래픽 메모리 최대 용량은 18.5 GiB입니다.
이 숫자들은 비디오 모델이 구동하는 게임이 처음으로 현지에서 설치하고 실시간으로 상호작용할 수 있는 실질적인 가치를 갖게 되었다는 것을 의미합니다. 이제 그것은 오프라인으로 렌더링된 시연 영상이 아니라, 컴퓨터 앞에 앉아 실제로 플레이할 수 있는 게임이 됩니다.
2. 하네스 새로운 패러다임: 세계 상태가 진정으로 "관리"되는 방식
Matrix-Game 4.0은 비디오 모델과 세계와의 관계를 재정의했습니다: Coding Agent는 코드를 통해 가벼운 게임을 구축하며, 엔진은 "심판" 역할을 하여 세계 상태를 지속적으로 유지하고 상호작용 규칙을 실행하며, 구조적인 화면과 동적 의미 조건을 생성합니다; 비디오 모델은 "화가" 역할을 하여 단순한 기하학을 풍부한 화면으로 변환하는 일을 담당합니다.
엔진의 외부 제약과 지속적인 조정을 통해 세계 상태를 지속적으로 유지하고, 게임 규칙을 정확하게 정의하며, 플레이 방식을 자연어로 수정할 수 있다. 이는 Genie 패러다임이 결코 해결하지 못한 "세계가 제대로 관리되고 있는지"에 대한 문제이다.
3. 통합 데이터, 훈련 및 실행 과정: 재사용 가능한 엔지니어링 링크
구조 화면-정밀 화면 데이터 쌍의 수집, 동적 의미 태그링부터 제어 가능한 비디오 훈련, 적은 단계 자기회귀 디스터이션 및 실시간 추론에 이르기까지, 통일된 기하학적 및 의미적 조건이 전체 기술 연쇄를 관통한다.
이 프로세스는 새로운 시나리오, 새로운 상호작용, 새로운 플레이 방식을 구축하는 데 공정적 기반을 제공합니다: 정밀한 3D 자산 제작에 대한 의존성을 줄이고, 게임 프로토타입을 빠르게 개발하고 반복할 수 있게 하며, 소규모 팀도 세계를 만들 수 있도록 하는 것을 구호에서 현실로 만듭니다.
4. 공개된 동기화 오픈소스: 창작자가 실제로 "플레이"할 수 있도록 함
Matrix-Game 4.0은 출시와 함께 오픈소스로 공개되었으며, 연구자와 개발자, 창작자들에게 재사용 가능한 기술 기반과 수정 가능한 게임 코드를 제공합니다. Coding Agent과 결합하여 창작자는 자연어로 환경을 조정하고 상호작용을 맞춤화하며 게임 방식을 설계할 수 있습니다. 이를 통해 연구와 창작의 장벽을 한 줄의 Prompt 수준으로 낮추어, 더 많은 창의적인 아이디어가 직접 경험하고 지속적으로 업데이트될 수 있는 게임으로 탈바꿈합니다.
2. 세 가지 근본적인 장애 요인: 왜 "갈 수 있는" 세계가 "즐겁지 않은" 것일까?
전 세대의 인터랙티브 세계 모델을 다시 보면, 문제는 화면 품질에 있지 않았습니다—그들은 이미 충분히 멋진 장면을 만들어냈습니다. 진짜 문제점은 더 깊은 곳에 숨겨져 있습니다. 전 세대의 로드맵을 자세히 들여다보면, 세 가지 문제가 계속해서 해결되지 않았습니다.
1. 세계 상태는 독립적이고 검증 가능한 유지 메커니즘이 부족함
외부 엔진이 명시적인 상태를 유지하지 않는 경우, 장면과 물체의 지속적인 존재는 주로 모델의 내부 표현과 역사적 기억에 의존합니다. 모델은 이전에 보았던 이미지를 "기억"할 수 있지만, 개발자가 각 물체의 상태를 정확하게 읽고 수정하며 검증할 수 있다는 의미는 아니며, 시야 밖의 캐릭터와 사건을 보장하여 항상 지정된 규칙에 따라 지속적으로 발전하는 것도 어렵습니다.
2. 장시간에 걸친 상호작용의 일관성은 여전히 안정적으로 보장하기 어렵습니다
회귀 생성은 이전의 생성 결과에 의존하며, 국부적 오차는 연속적인 상호작용을 통해 전파되고 축적될 수 있다. 플레이어가 장시간 탐색을 하거나 같은 위치로 반복적으로 돌아오거나 물체를 여러 번 시야 안으로 들어오고 나가게 할 때, 장면 구조, 물체의 정체성 및 상호작용 결과 모두 변화할 수 있다. 맥락을 확대하고 기억 메커니즘을 도입하면 이러한 문제를 개선할 수 있지만, 게임 수준의 장기적인 일관성 보장은 제공되지 않는다.
3. 합리적인 인터랙션 화면이 반드시 신뢰할 수 있는 게임 규칙과 같은 것은 아닙니다.
모델은 문 열기, 충돌 또는 공격과 같은 시각적 효과를 생성할 수 있지만, 완전한 게임에는 정확한 수치 처리도 필요합니다. 생명력의 증감, 아이템의 소유권, 미션 진행률, 승패 판정 등이 바로 그것입니다. 이러한 메커니즘은 "합리적으로 보일 뿐만 아니라", 개발자가 명확하게 정의하고 수정하며 테스트할 수 있어야 하며, 다양한 조작 방식과 장시간 실행 중에도 일관성을 유지해야 합니다.
세 가지 질문은 사실 하나의 것을 가리킵니다: 기존의 경로는 "세계"를 모델의 기억 속에 남기지만, 게임에 필요한 것은 읽고, 수정하고, 검증할 수 있는 세계입니다.
이것이 바로 Matrix-Game 4.0이 "코드로 게임을 구축하고 AI가 실시간으로 화면을 생성하는" 방식을 선택하는 출발점입니다. 모델이 전 세계를 기억하려고 애쓰는 것보다는, 세계에 명확하고 유지 가능한 매체를 제공하는 것이 낫습니다.
3. 새로운 패러다임: 엔진이 세계를 움직이고, AI가 세계를 그리다
Matrix-Game 4.0의 해법은 비디오 모델에 세계 상태를 유지하는 "Harness"를 부착하는 것입니다. 외부 게임 관리자가 공간 배치 참고 자료를 제공하고 세계 상태를 관리하며 의미론적 동태를 업데이트하는 반면, 비디오 모델은 이러한 컨텍스트와 제어 조건을 통합하여 자기회귀적으로 단기간의 생생한 미래 화면을 생성합니다.
전체 시스템은 세 개의 모듈로 구성되며, 역할이 명확하게 나뉩니다:
엔진은 세계에서 "실제로 무엇이 일어나고 있는지"를 기록하고, 플레이어의 행동이 어떤 결과를 초래할지 결정합니다. 완전한 세밀한 그래픽 제작을 담당할 필요는 없으며, 단순화된 기하학 모델과 시각적 구조를 통해 도로, 건물, 캐릭터 및 상호작용 가능한 물체를 설명합니다. 생명력, 배낭, 중력, 충돌 및 미션 진행률 등의 상태와 규칙은 코드에 의해 명확하게 관리되고 실행되며, 그래픽을 통해 추론하는 것이 아닙니다. 플레이어의 조작에 따라 엔진은 세계를 지속적으로 업데이트하고 구조화된 화면을 생성하며, 비디오 모델에 대한 장면 배치, 물체 움직임, 카메라 시점의 제약을 제공합니다. 물체가 시야에서 사라져도 그 상태는 엔진에 의해 게임 규칙에 따라 유지됩니다.
프로그래밍 스마트체는 플레이어의 아이디어를 실행 가능한 게임으로 변환하는 책임을 맡습니다. 플레이어는 자연어로 요청을 제시할 수 있으며, 지형 조정, 오브젝트 배치, NPC 행동 수정, 새로운 플레이 방식 설계 등 모든 것을 시나리오 구성과 게임 코드로 구현됩니다. 예를 들어 "몬스터가 사방에서 몰려오게 하기"는 화면에 더 많은 몬스터가 등장하는 것뿐만 아니라, 생성 위치, 이동 방식, 공격 행동 및 승패 조건도 구현해야 합니다. 프로그래밍 스마트바이도 시나리오의 의미론과 시각 스타일을 정의하는 데 도움을 줄 수 있습니다: 같은 단순한 건물도 해변에 위치한 오래된 집으로 설정될 수도 있고 미래 도시의 상점으로 변할 수도 있습니다—이러한 설명들은 텍스트 조건으로서 구조적 이미지와 함께 시각 생성을 지도합니다.
비디오 모델은 구조 화면을 정교한 시각 경험으로 변환하는 역할을 합니다. 장면 구조와 움직임 제약을 유지하면서 재질, 조명, 환경 분위기 및 다양한 외관 세부 정보를 생성하여 개별적인 3D 자산을 하나하나 만드는 데 대한 의존성을 줄입니다. 현재의 제어 조건과 역사적 화면을 결합하여 인과적 자기회귀 방식으로 지속적으로 생성되며, 실시간 재렌더링을 위한 단순한 디프라우드와 추론 최적화를 통해 플레이어의 조작과 화면 반응 사이의 대기 시간을 단축합니다.
실시간 실행 프로세스: 플레이어 조작 → 엔진이 세계 상태를 업데이트 → 구조 화면과 제어 조건을 출력 → 비디오 모델을 실시간으로 렌더링 → 플레이어에게 표시
이 접근 방식의 핵심은 게임이 어떻게 작동하는지와 게임이 어떻게 보이는지를 별도로 처리하는 것입니다: 코드는 규칙을 담고, 엔진은 상태를 관리하며, 비디오 모델은 시각적 표현을 만듭니다. 프로그래밍 인공지능의 창작 능력을 결합하여 Matrix-Game 4.0은 더 적은 제작 비용으로 창의적인 아이디어를 플레이 가능하고 수정 가능하며 지속적으로 개선 가능한 게임으로 변환할 수 있게 합니다.
4. 데이터에서 추론 가속화까지: 하나의 연결된 전체 경로
실시간으로 작동하는 "게임 세계"는 데이터, 훈련 및 실행 중의 세 가지 역량이 연결된 구조를 바탕으로 합니다.
데이터: 세계 모델 구축을 위한 구조화된 화면 - 세부적인 화면 정렬 데이터 세트
팀은 언리밍 엔진 5(UE5)를 기반으로 세계 모델과 비디오 생성을 위한 구조적 화면-정교한 화면 간의 교차 맞춤 데이터 세트를 구축했습니다. 이 데이터 세트는 CitySample 초대형 도시, 개방된 사막, 복잡한 성, 고동동적인 전투라는 네 가지 대표적인 장면을 포함합니다.
자체 개발된 경량화 기하학적 추상화 수집 파이프라인은 카메라 경로와 타임스탬프를 엄밀한 시공간 동기화 상태를 유지하면서, 복잡한 장면을 공간 탄소 구조, 강체 위치 및 역학 궤적을 보존하는 저모델 구조로 추상화하고, 고모델 영상과 프레임 단위 픽셀 단위로 정렬합니다. 동시에 물체 인스턴스 ID, 가시성 상태 및 인과적 상호작용 이벤트를 병렬로 수집하여 풍부한 의미론을 갖는 동적 메타데이터 흐름을 구축합니다.
동적 캡션: 게임의 흐름에 맞춰 설명을 바꾸기
대화형 게임에서는 플레이어의 조작에 따라 화면이 변경됩니다. 시점을 돌리거나 움직이거나 이벤트를 발생시키면 물체의 상태도 달라집니다. 고정된 문구 설명으로는 이러한 변화를 즉시 반영하기 어렵습니다.
Matrix-Game 4.0은 동적 Caption을 도입합니다: 시스템은 장면 내 물체의 ID와 의미론적 설명을 연결하고, 게임 엔진에서 현재 보이는 객체와 실시간 상태를 가져와 텍스트 템플릿에 입력합니다. 구조 화면은 위치, 배치, 움직임 등의 구조 정보를 제공하며, Caption은 "화면에 어떤 객체가 있으며 어떤 상태인지"와 같은 의미론적 정보를 보완하여 두 가지가 함께 생성을 제약합니다.
통제 가능한 생성과 공간 기억
비디오 모델은 Wan2.2 5B를 기반으로 비디오에서 비디오로(V2V) 모드로 개조되었습니다: 엔진이 렌더링하는 구조 이미지와 생성될 비디오가 채널별로 결합됩니다(148 채널 입력), 모델에게 "무엇을 그리고, 어디에 그리느냐"를 알려줍니다; 동시에 동적 합성된 시각적 이벤트 prompt, 공간 기억 참조도 및 첫 번째 프레임이 입력되어 각각 세부 설명, 장면 일관성 및 화면 연속성을 담당합니다.
렌더링 모델 네트워크 노드: 148 채널 결합 입력, 30층 인과적 DiT, 자기 주의력으로 K/V 캐시 읽기, 교차 주의력으로 텍스트 K/V 읽기
추론 속도 향상: 매밀리초를 정확하게 측정하기
60 FPS를 소비자용 그래픽 카드에서 실제로 구현하기 위해 팀은 많은 엔지니어링 최적화를 진행했습니다: CUDA Graph를 사용하여 DiT 주요 계산을 사전 녹화하고 실행 시에 한 번에 재생함; RoPE, 정규화 및 FP8 양자화를 위한 특화된 GPU 커널을 작성하여 동일 레이어의 Q, K, V을 한 번의 입력 양자화로 공유함; 텍스트 조건의 KV는 Caption이 업데이트될 때만 다시 계산됨; 비디오 역사적 KV는 고리 캐시를 사용하여 변경함; 자기 주의력은 KV 창으로 나누어진 후 병렬로 계산됨; 인코딩 및 디코딩은 가벼운 TAEHV로 대체함. 최종적으로, 텍스트 인코더, DiT 및 VAE를 모두 RTX 5090에 상주시킬 수 있다.
5. 코딩 에이전트: 한 가지 생각으로 게임을 재작화하기
Matrix-Game 4.0의 가장 흥미로운 점은 아마도 그림이 얼마나 잘 그리는 것이 아니라, 얼마나 쉽게 "수정"될 수 있는가에 있을 것이다.
코딩 에이전트를 이용하면 플레이어는 기존 게임 코드를 바탕으로 자연어로 자신의 게임을 맞춤 설정할 수 있습니다. 지형을 조정하거나 장면 오브젝트를 배치하는 것부터 NPC의 행동과 상호작용 로직을 변경하는 것, 심지어 완전히 새로운 플레이 방식을 디자인하는 것까지 가능합니다.
창의성은 더 이상 3D 자산 생산 라인에 갇히지 않고, '플레이 가능하고 반복 가능한' 단계로 직접 진입할 수 있습니다.
이것도 바로 이 기술 경로의 실제 의미입니다: AI 프로그래밍 도우미가 빠르게 발전함에 따라, 가벼운 게임 엔진을 구축하는 비용이 크게 줄어들었습니다. 우리는 또한 창작자들이 프로젝트에서 제공된 게임 코드를 바탕으로 계속해서 변경하고 확장하도록 장려하며, 더 많은 플레이 방식을 함께 탐구할 수 있도록 합니다.
지난 1년 동안 비디오 생성 모델은 게임에서 많은 새로운 성과를 거두었지만, 일반 플레이어의 컴퓨터에서 실행될 수 있는지는 또 다른 문제입니다.
이 비교 그래프에서, 엔드투엔드 지연 시간을 보면 Code World Model은 약 10.2초, StreamRender-H3는 약 545밀리초, AgentGarten은 약 878밀리초이며, Matrix-Game 4.0은 112밀리초입니다. 키를 누르는 순간 화면에 반응이 나타나는 데 걸리는 시간은 전자의 1/90, 후자의 1/5과 1/8에 해당하며, 처음으로 "실시간으로 플레이 가능"한 범위에 들어갔습니다.
컴퓨팅 능력 요구량에 따라 다른 솔루션은 각각 1× H200 141GB, 8× GB200, 1× H100 데이터 센터 카드가 필요하지만, Matrix-Game 4.0은 1× RTX 5090에서만 작동한다——이것은 소비자용 그래픽 카드와 32GB의 디스플레이 메모리가 있으면 된다.
오픈소스 측면에서 Code World Model과 StreamRender-H3는 완전히 공개되었으며, AgentGarten은 부분적으로 공개되었고, Matrix-Game 4.0은 코드, 가중치, 백모델이 모두 동기화되어 공개되었습니다.
6. 오픈소스는 더 많은 사람들이 함께 참여할 수 있게 해줍니다.
Matrix-Game 4.0은 출시와 함께 오픈소스로 공개되었으며, 연구자, 개발자 및 창작자들에게 재사용 가능한 기술 기반과 수정 가능한 게임 코드를 제공합니다. 우리는 또한 창작자들이 프로젝트에서 제공된 게임 코드를 바탕으로 계속해서 변경하고 확장하여 더 많은 플레이 방식을 함께 탐색하도록 장려합니다.
미래에 팀은 모델을 지속적으로 개선할 것입니다: refiner를 배포하여 화면 해상도를 높이고, 플레이어 간의 시점이 일관되도록 하는 멀티플레이어 경험을 탐색하며, 더 세밀한 화면 제어 기능을 제공하고, 더 많은 게임 유형과 시나리오에 대한 지원을 확대할 예정입니다.
“통제 가능한 비디오”에서 “운영 가능한 세계”로의 이 단계는 보기보다 더 중요할 수 있다. 이는 창의성의 장벽이 낮아지고 상상력의 경계가 열리게 된다는 것을 의미한다.