일수, 압비사에서 발행
양자위 | 공식 계정 QbitAI
아니, 인상에 남는 매우 연산력이 많이 필요한 ‘게임 세계 모델’이 이렇게 RTX 5090 하나 안에 들어갔다고?!!
또한 몸에는 두 개의 매우 매력적인 라벨이 달려 있었습니다:
국산, 오픈소스.
방금, 쿠론만웨이의 Skywork AI가 Matrix-Game 4.0를 출시했으며, 이는 «단일 소비급 그래픽 카드에서 실시간으로 실행될 수 있는 세계 게임 세계 모델 최초의 제품»이라고 알려졌습니다.
빠르게 데모 영상을 보면, 솔직히 480p의 화질에는 분명 개선의 여지가 있지만, 몇 초 더 봐보면:
이봐요, 이상해요!!
이전에 흔히 볼 수 있었던 게임 세계 모델 데모에서는 플레이어가 방향 키를 누르면 모델이 앞으로 생성되는 화면이 나타났습니다. 세계를 돌아다닐 수 있고 장면이 움직이지만, 실제로 실행 가능한 게임이 있는지는 잘 말할 수 없습니다.
하지만 Matrix-Game 4.0은 이제 예전과는 달라졌습니다.
플레이어가 피해를 입으면 먼저 방패의 내구성이 줄어듭니다. 방패가 부서지면 피를 빼앗는 기능이 시작됩니다. 체력이 0이 되면 게임이 정말 끝나게 됩니다.
동영상 주소: https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA
흥, 원래 화면만 움직이는 게 아니라, 뒤에 있는 게임 논리도 함께 작동하는구나.
더 이상 웃기게도, 이 전체 장비 세트는 어떤 고급 컴퓨팅 클러스터 위에 놓여 있지 않았다.
RTX 5090 한 개만.
키를 누르면 0.15초도 안 되는 시간에 화면이 반응하고, 1초에 60프레임을 처리할 수 있으며, 전체 시스템이 사용하는 그래픽 메모리는 최대 약 18.5GiB입니다.
플레이 방식도 수정할 수 있다.
코딩 에이전트가 게임 코드를 실행하면, 원래의 타임랩스 경기는 순식간에 차량을 가로막는 추격전으로 변한다.
동영상 주소: https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA
한 장의 카드로, AI가 실시간으로 그리고 코드 규칙에 따라 진행되는 게임을 시작한다.
어떻게 해내는 거죠?
비디오 모델에 Harness을 부착하기
이번에 Matrix-Game 4.0은 평범한 방식으로 진행되지 않았습니다.
팀이 내린 핵심 판단은 다음과 같습니다:
비디오 모델이 암시적으로 세계를 기억하도록 하는 것보다는, 게임 엔진이 명시적으로 세계를 유지하도록 하는 것이 낫다.
구글 Genie를 대표로 하는 방식은 플레이어가 AI가 실시간으로 생성하는 세계로 들어가게 합니다. 어디로 가든, 모델이 그 장면을 그곳에 맞게 생성합니다.
하지만 세계를 구경할 수 있다고 해서 게임을 할 수 있는 것은 아닙니다.
화면에 가끔 나무가 하나 더 생기거나 창이 하나 줄어들면, 그저 웃긴 느낌만 듭니다. 하지만 NPC의 위치나 플레이어의 체력, 퀘스트의 승패까지 모델이 직접 처리한다면, 도대체 뭘 하라는 거죠??
그러므로 화면이 노출되는 것보다 더 골치 아픈 것은, 사실 규칙이 무너지는 것입니다.
팀의 관점에서 볼 때, 현재 단계의 비디오 생성은 마치 '기호 번역'과 같아서, 문장, 동작 및 장면 정보를 연속된 이미지로 변환하는 역할을 합니다.
「그림」이라는 일에 있어서는 비디오 모델이 정말 잘합니다.
과거에 흔했던 경로는, 전 세계를 기억하게 하고 규칙을 명확히 하며, 끊임없이 화면을 생성해야 했다.
흥, 하나의 모델이 여러 역할을 겸하고, 짧은 시간 동안은 버틸 수 있지만, 시간이 길어지면 알겠죠...
△이미지는 AI로 생성되었습니다
그래서 Matrix-Game 4.0에 도달했을 때, 팀은 일을 완전히 나누어 처리했습니다:
게임 엔진은 게임을 제대로 실행하는 역할을 하고, 비디오 모델은 화면을 잘 그리는 역할을 합니다.
이렇게 분해되면 세계의 상태는 모델이 생성한 픽셀에 숨겨져 있지 않고, 코드에 명확하게 기록됩니다.
비록 시각 생성이 가끔씩 오류를 일으킬 수 있지만, 플레이어의 체력, 아이템의 소유권, 퀘스트 진행 상황 등은 직접 변경되지 않습니다.
팀은 이 접근 방식을 「비디오 모델에 Harness를 부착하는 것」이라고 요약했습니다.
1、플레이어는 먼저 자연어로 아이디어를 말하고, Coding Agent은 그것을 게임 코드로 변환합니다.
2、게임 엔진은 ‘심판’ 역할을 하여 세계 상태를 유지하고 게임 규칙을 실행하며, 혼란스럽지 않은 구조 스케치를 그립니다.
3、비디오 모델은 ‘화가’ 역할을 하며, 스케치를 따라 실시간으로 최종 화면을 생성합니다.
간단히 말하면, 결정해야 할 것은 코드에 맡기고, 역량을 발휘해야 할 것은 AI에 맡기는 것입니다.
분업 방식이 어떤 효과를 내는지에 대해서는 데모를 직접 보면 알 수 있습니다.
처음에는 엔진이 블록, 골격, 간단한 지형으로 구성된 구조 화면만을 출력했습니다.
얼마나 보면 약간 '기초 상태의 집'이라는 의미가 있어요.
하지만 등장인물이 어디에 있고, 소품이 어디에 있으며, 누가 움직이는지는 모두 명확하게 설명되어 있다.
동영상 모델이 대신 처리되면서 성, 잔디밭, 재질 및 빛과 그림자가 실시간으로 보완됐다. 방금까지는 3D 잔디 모델이었지만, 순식간에 완전한 게임 화면이 되었다.
동영상 주소: https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA
그림을 그릴 수 있다는 점도 한 가지고, 아래에 있는 규칙도 실제로 작동하고 있어요.
방패를 예로 들면, 플레이어가 그것을 획득한 후 엔진이 그것을 게임 상태에 정식으로 기록합니다. 피격될 때는 먼저 방패의 내구도가 감소하고, 방패가 무력화된 후에 캐릭터의 체력이 감소합니다; 체력이 0이 되면 게임이 종료됩니다.
비디오 모델은 과정을 그려내는 역할을 하며, 구체적인 결제 방식은 모두 코드에 의해 결정됩니다.
동영상 주소: https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA
더 흥미로운 점은, 이러한 규칙들을 계속해서 변경할 수 있다는 것입니다.
무기 발사 속도를 높이고 싶다면, 코딩 에이전트에게 자연어로 말하세요.
기반 코드를 한 번만 변경하면 무기의 실제 공격 로직도 함께 바뀝니다.
동영상 주소: https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA
대결 장면에서 전체 방법을 한 번에 실행했습니다:
코딩 에이전트는 수정을 담당하고, 엔진은 계산을 담당하며, 비디오 모델은 그림을 만든다.
AI로 생성된 세계는 “게임처럼 보이는” 단계에서 “실제로 규칙에 따라 작동하는” 단계로 나아가고 있습니다.
RTX 5090 한 대로 게임을 어떻게 실행할 수 있을까?
논리가 잡히면 다음 단계가 진짜 어려운 과제입니다:
처리 능력.
결국 비디오 모델을 실시간으로 게임을 그리는 것은 소비급 그래픽 카드가 견딜 수 있는 일이 아닌 것 같습니다.
거의 동시에, 엔비디아 연구팀도 StreamRender-H3를 발표했으며, 이 역시 「코드가 실행되는 세계, 비디오 모델이 화면을 생성하는」 방식을 채택하고 있습니다.
그러나 공식적으로 공개된 배포 설정은 8장의 GB200 GPU입니다. 각 비디오 블록은 두 단계의 노이즈 제거를 사용하며, 각 스트림 생성 단계의 확산 렌더링에 걸리는 시간은 218ms입니다.
이것은 아직 확산 렌더링 단계에 불과합니다. 비디오 블록 수집, 디코딩 및 재생 등의 과정을 포함하면, 두 개의 비디오 블록이 하나의 완전한 피드백을 형성하는 것으로 계산할 경우, 엔드투엔드 지연은 약 545ms입니다.
이 데이터를 대략적으로 비교해 보면, Matrix-Game 4.0은 키 입력부터 화면 표시까지 약 112ms가 걸리며, StreamRender-H3이 추정한 단일 연결 지연 시간의 다섯 분의 일에 해당합니다. 하드웨어 구성도 8장의 GB200에서 1장의 RTX 5090로 감소했습니다.
물론, 두 제품의 해상도와 지연 통계의 기준은 완전히 같지 않으므로, 직접 순위를 매길 수는 없습니다.
하지만 엔지니어링 실현 측면에서 볼 때, 단일 소비자용 그래픽 카드가 이 속도를 달성하는 것은 충분히 인상적입니다.
그리고 이 카드도 갑자기 모든 것을 견딜 수 있는 것은 아닙니다.
Matrix-Game 1.0부터 팀은 게임 세계 모델에 대한 교육을 계속해왔습니다:
1.0은 생성된 세계가 플레이어의 조작을 이해하도록 하고, 2.0은 실시간 문제를 해결하며, 3.0은 장기 기억 기능을 보완하고, 3.5는 공간과 캐릭터의 안정성을 유지한다.
△이미지는 AI로 생성되었습니다
4.0에 도달하면, 팀은 또 다른 문제와 직면하기 시작했습니다:
실시간으로 생성되며 기억도 하는 이 세계는, 언제쯤 게임이 될 수 있을까?
답은 이미 밝혀졌습니다. 즉, 규칙을 코드와 게임 엔진에 맡기는 것입니다.
하지만 규칙과 화면이 RTX 5090에서 동시에 작동하려면 단순히 역할을 재분배하는 것만으로는 충분하지 않습니다.
엔지니어링 관점에서 전체 링크를 덜어야 합니다.
첫 번째 감소: 모델이 스스로 추측해야 하는 내용을 줄임
첫 번째 단계는 생성 작업을 간단하게 만드는 것입니다.
“텅 빈 상태에서 그림을 그리다”?? 아니야, “스케치를 참고해 정성스럽게 제본하기”보다 훨씬 수월하지 않아.
모델이 이 기술을 배우도록 하기 위해, 팀은 UE5를 사용하여 쌍으로 구성된 데이터를 제작했습니다: 한쪽에는 구조 화면이고, 다른 쪽에는 해당하는 세부 화면입니다.
전자는 재질이나 빛과 그림자 같은 세부 사항은 신경 쓰지 않고, 단지 장면 구조와 물체의 위치 및 움직임 궤적만을 유지합니다. 후자는야말로 최종적으로 생성되는 효과입니다.
이렇게 연습하면, 게임 엔진에서 먼저 구조 화면을 만들어낸 다음에 비디오 모델의 재질, 빛과 그림자, 환경 세부 사항을 따라 채워넣을 수 있습니다.
하지만 단순한 스케치만으로는 충분하지 않다.
같은 블록이 과연 방패인지, NPC인지, 또는 차단기인지 모델로는 알 수 없다.
그러면 시스템은 엔진이 제공하는 가시적인 객체와 실시간 상태를 읽어내고, 동적으로 Caption을 만들어 모델 화면에 무엇이 있고 무슨 일이 일어나고 있는지 알려줍니다.
동영상 주소: https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA
구조 화면은 '어디에 있는지'를 설명하고, 동적 Caption은 '무엇이며 무엇을 하는지'를 설명합니다.
훌쩍이, 도면과 설명서를 손에 쥐고 왔네요.
이제, 비디오 모델은 그대로 그려도 됩니다.
두 번째 감소: 모델이 스스로 기억해야 할 내용을 줄임
그림만으로는 충분하지 않아요. 게임은 계속해서 진행되어야 합니다.
문제는 비디오가 길수록 역사 화면이 더 많다는 것입니다.
모든 생성마다 모델이 처음부터 기록을 다시 만들도록 하여, 노력이 많이 들 뿐만 아니라 앞쪽에 잘못 그린 부분이 전체에 영향을 미칠 수도 있습니다.
아니야, 핵심 장면을 바로 눈앞에 보여주는 게 더 좋지 않아~
Matrix-Game 4.0은 Wan2.2 5B Fun Control을 기반으로 V2V 모델을 개발했습니다. 매번 생성될 때 현재의 구조 화면을 참고하는 것 외에도 공간 기억 참조도, 연결을 위한 첫 번째 프레임, 그리고 캐시에 저장된 최근의 역사적 정보도 불러옵니다.
어디에 있고, 어떤 모습이며, 어떻게 연결되는지가 모두 표시되어 있으므로, 그림을 그릴 때 잘못된 방향으로 가는 가능성도 자연스럽게 줄어듭니다.
세 번째 감소: 모델이 계산해야 할 내용을 줄이다
마지막 공격은 계산량 자체를 직접 베는 것이다.
확산 모델 생성 화면은 마치 화면 전체에 있는 노이즈 중에서 반복적으로 수정하는 것과 같습니다. 한 번 수정으로는 부족하여 몇 번 더 수정해야만 화면이 형태를 갖게 됩니다.
게임은 이렇게 오래 기다릴 수 없어요.
팀은 자가회귀 디스트리뷰팅을 적은 단계로 줄여서, 이 과정을 단 1단계 또는 2단계만 변경하고, 한 번에 4프레임만 생성했습니다.
빠르게 계산하는 것만으로는 충분하지 않아요. GPU는 CPU가 명령을 내리기를 기다리고, 역사적 데이터도 이동해야 하므로 속도가 더욱 느려집니다.
그래서 CUDA 그래프, FP8 융합 연산자, KV 리듬링 캐시 및 경량 인코더/디코더도 모두 추가되었습니다:
할 수 있는 것을 한 번만 계산하고, 옮기지 않아도 되는 데이터는 반복해서 옮기지 마세요.
마지막으로, 텍스트 인코더, DiT 및 VAE는 모두 RTX 5090에 상주합니다.
단계별 노이즈 제거 시 영상 모델의 정지 상태 생성 속도는 83 FPS에 달했으며, 두 단계의 노이즈 제거 시에는 약 57 FPS입니다.
실제 게임은 60 FPS로 작동하며, 플레이어가 버튼을 누르면 0.15초도 채 되지 않는 시간 안에 화면 반응이 나타납니다.
솔직히 이 부분을 보면, 단일 카드 60프레임이 정말 대단하다고 느껴진다. 이제는 ‘60’이라는 숫자 자체가 중요하지 않다.
이전에는 연산력 클러스터 안에서만 실행되는 게임 세계 모델을 구동할 수 있었지만, 이제 RTX 5090 하나로 개발자의 데스크탑에 직접 설치할 수 있게 되었다.
동영상 주소: https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA
더욱 놀라운 것은, 하드웨어 장벽이 사라지자마자 쿠룬푼완위가 또 한 번 공격을 가했다는 점이다:
오픈소스.
중국 AI가 게임 세계 모델에 오픈소스를 적용한다
“오픈소스”라는 행위는 게임 세계 모델에서 생각했던 것보다 더 중요한 요소입니다.
세계 모델이 발표될 때마다, 익숙한 느낌이 듭니다:
데모는 정말 대단했다.
산악지대, 도시, 사막 등을 임의로 생성하고, 캐릭터는 방향키를 누르면 앞으로 나아간다. 영상은 소셜 플랫폼에서 널리 퍼진다.
그 다음은요?
그러고 나면 끝이야.
모델 가중치를 얻을 수 없고, 추론 코드를 볼 수 없으며, 개발자가 로컬에 다운로드하는 것도 불가능합니다. 규칙을 바꾸거나 시나리오를 변경해 보는 것도 불가능합니다.
업계를 간단히 살펴보면, 대부분의 참가자들이 제품이나 API, 또는 연구 데모만을 공개하는데, 실제로 모델과 코드를 개발자에게 전달하는 경우는 소수에 불과합니다.
그래서 Matrix-Game 4.0 이번 오픈소스 버전은 불편하지 않게 사용할 수 있다는 점이 특징이다(수동 고양이 머리).
중요한 점은, 오늘 갑자기 '개설'하고 싶은 것이 아니라는 것입니다. 이 회사는 Matrix-Game 1.0부터 계속 오픈소스 방식을 유지해왔습니다.
돌이켜보면, 이렇게 일찍 기술을 공개하기로 선택한 데 중요한 이유 중 하나는 바로 이것입니다:
세계 모델 트랙은 점점 더 활발해지고 있지만, 기술 방향은 아직 완전히 정립되지 않았습니다.
△이미지는 AI로 생성되었습니다
누군가는 비디오 생성에 대한 베팅을 계속하고, 누군가는 3D 공간 분야에 집중하며, 또 다른 누군가는 게임 엔진을 다시 도입하기로 했다.
세계 모델처럼 보이지만, 기본적인 해법은 점점 더 다르게 변하고 있습니다.
일부분이 점점 명확해진 것은, 빛으로 비디오를 생성하는 것만으로는 충분하지 않다는 것입니다. 세계가 들어갈 수 있고 상호작용할 수 있으며, 최대한 장기적으로 작동할 수 있어야 합니다.
이 단계를 어떻게 넘어가야 할지에 대해 각자들이 열심히 시도하고 실험하고 있다.
정답이 없기 때문에 오픈소스가 유용한 곳이 될 수 있습니다.
모델을 개발자 손에 넘기면, 재현이 가능한지, 다른 환경에서 어떻게 될지, 그리고 어떤 새로운 방식도 만들어질 수 있는지 바로 실험해 볼 수 있다.
잘 작동하는지, 커뮤니티가 자연스럽게 답을 줄 거예요.
그리고 이 플레이 방식은 사실 우리는 너무나도 잘 알고 있습니다.
대형 언어 모델이 오픈소스화되었고, 멀티모달도 계속해서 오픈소스화되고 있습니다. 현재 쿠론만위를 대표로 하는 중국의 오픈소스 역량은 게임 세계 모델 분야로도 진출하고 있습니다.
훌륭하네요, 새로운 트랙이 활기를 띠기 시작했는데, 익숙한 레시피가 이미 준비되어 있군요.
물론, Matrix-Game 4.0은 아직 시작에 불과합니다.
480p 화질은 정말 세밀함을 논할 수 없으며, 더 안정적이고, 더 오래 지속되며, 더 많은 사람이 동시에 플레이하는 AI 세계와는 아직 한참의 거리가 있습니다.
하지만 길도 아직 결정되지 않았고, 답변도 당연히 몇 개의 회사만에 문을 닫고 작성하게 할 수는 없습니다.
구글 Genie 이후, 국산 플레이어가 이번에 제시한 해법은:
코드는 세계가 규칙을 지키도록 하는 역할을 하고, AI는 세계를 그려내는 역할을 한다.
RTX 5090 하나로 작동하며, 모델과 코드도 함께 제출되었습니다.
뒤로는 개발자들이 어떤 방식으로 활용할 수 있을까?
단지 이렇게만 말할 수 있습니다:
마트릭스 게임 4.0 대형 무대에서, 좋아하시는 분만 참여하세요.
【대규모 무대 전송문】：
https://github.com/SkyworkAI/Matrix-Game
https://huggingface.co/Skywork/Matrix-Game-4.0
https://matrix-game-v4-0.github.io/page/