一水 発信元：凹非寺
量子位 | 公式アカウント QbitAI
いや、印象に残っている計算力を要する「ゲームワールドモデル」が、なんとRTX 5090の中に詰め込まれたのか？！
さらに、体には2つの非常に魅力的なタグが付いている：
国産、オープンソース。
ちょうど今、クンルン・ワンウェイのSkywork AIがMatrix-Game 4.0を発表しました。これは「単一の消費者向けグラフィックカード上でリアルタイムに実行可能な世界モデルとしては世界初」と言われています。
デモを見てみると、正直に言って480pの画質にはまだ改善の余地がある。しかし、もう数秒見てみると…
えっ、おかしい！！
以前よく見られたゲーム世界モデルのデモでは、プレイヤーが方向キーを押すと、モデルが前に進むという仕様でした。世界観は歩けるし、シーンも動きますが、実際に実行可能なゲームがあるかどうかはわかりません。
しかし、Matrix-Game 4.0はもはや以前とは全く異なります。
プレイヤーが被弾すると、まずシールドの耐久性が低下します。シールドが壊れると、 HPを削減し始めます。HPがゼロになると、ゲームは本当に終了します。
動画アドレス：https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA
いいな、画面が動くだけでなく、背景のゲームロジックも動き出したんじゃないか。
さらに奇妙なことに、この一連のものはどんな高級計算クラスターにも横たわっていない。
RTX 5090一枚だけです。
キーを押せば0.15秒以内に画面が反応し、1秒で60フレームを表示できます。全体のシステムで使用されるグラフィックメモリのピーク値は約18.5GiBです。
遊び方はさらに変更できる。
コーディングエージェントにゲームコードを実行させ、元のタイムレースは、あっという間に介入対象車両を追撃する戦いに変わる。
動画アドレス：https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA
一枚のカードで、AIがリアルタイムに描き出し、コードのルールに従って動作するゲームをプレイする。
どうやって成し遂げたのですか？
ビデオモデルにHarnessをかけます
今回、Matrix-Game 4.0は普通の道を歩まなかった。
チームが出した核心的な判断は：
ビデオモデルに世界を暗黙的に記憶させるよりも、ゲームエンジンで世界を明確に維持する方が良い。
Google Genieを代表とするこの方式は、プレイヤーをAIがリアルタイムで画像を生成する世界へと導きます。どこに行っても、モデルがその場所の画像を生成します。
しかし、世界を散策できるということは、ゲームが遊べるということではない。
画面には時々木が一つ多くなったり、窓が一つ少なかったりするだけで、ただの幻想に思える。しかし、NPCの位置やプレイヤーのHP、ミッションの勝敗までモデルが実際に決めてくるとしたら、それは何の楽しみがあるのか？？
ですから、画面がバレるよりも厄介なのは、実際には規則が破れることです。
チームによれば、現段階のビデオ生成は「符際翻訳」のようなもので、テキスト、動き、シーン情報を連続した映像に変換する役割を担っている。
「画」ということに関しては、ビデオモデルが本当に得意です。
過去によく使われたルートでは、世界全体を記憶し、ゲームのルールを明確にし、絶えず画面を生成する必要がありました。
いい奴だな、一つのモデルが何役も担えるし、短時間なら持ちこたえられる。でも長く続けると、わかるだろう。。。
△画像はAIによって生成されました
そこでMatrix-Game 4.0に至って、チームは仕事を分け合うことにした：
ゲームエンジンがゲームを正しく実行し、ビデオモデルが画像を上手く描き出す。
このように分離されると、世界の状態はモデルが生成したピクセルの中に隠されているのではなく、コードによって明確に記録されることになる。
視覚生成がたまに誤差を生じても、プレイヤーのHPやアイテムの所有権、ミッションの進捗などは直接変更されない。
チームはこのアプローチを「ビデオモデルにHarnessを装着する」と概括した：
1、プレイヤーは自然言語でアイデアを述べ、Coding Agentがそれをゲームコードに変換する役割を担う。
2、ゲームエンジンは「裁判官」のように、世界の状態を維持し、ゲームルールを実行し、混乱しない構造のスケッチを描き出す役割を担います。
3、ビデオモデルは「画師」として、草圖に従ってリアルタイムで最終画面を生成する。
簡単に言うと、決めなければならないことはコードに任せ、活躍させるべきことはAIに任せるということです。
この分業の効果がどうかは、直接Demoを見ればわかる。
最初は、エンジンが出力するのは、四角形、骨格、そして簡単な地形で構成された構造図面でした。
どれくらい見ても「毛坯房」という意味がある。
しかし、登場人物がどこに、小道具がどこに、誰が動いているかは、すっかり明確に説明されている。
等のビデオモデルが引き継がれ、城、芝生、素材、光影がリアルタイムで補完され、先ほどは3Dの芝生モデルだったものが、あっという間に完全なゲーム画面になった。
動画アドレス：https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA
絵を描けるのは一つの面ですが、下にある規則も本当に厳格です。
盾を例にとると、プレイヤーが拾った後、エンジンがそれを正式にゲーム状態に記録する。撃たれた時はまず盾の耐久度が減少し、盾が効かなくなるとキャラクターのHPが減少する。HPがゼロになると、ゲームが終了する。
ビデオモデルはプロセスを描き出す役割を担い、具体的な決済方法はすべてコードが決定する。
動画アドレス：https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA
さらに興味深いのは、これらのルールをさらに変更することもできるということです。
武器の射速を上げたい場合、直接自然言語でコーディングエージェントに伝えましょう。
下層コードを一つ変更すると、武器の実際の攻撃ロジックも変わってしまう。
動画アドレス：https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA
対戦シーンで、ちょうど一連の方法をすべて実行した：
コーディングエージェントは変更を担当し、エンジンは計算を担当し、ビデオモデルは描画を担当します。
AI生成の世界は、「ゲームのようなもの」から、「本当にルールに従って動くもの」へと進み始めている。
RTX 5090一台で、どうやってゲームを動かすことができるのか？
考え方が明確になった。次のステップこそが本当の難関だ：
計算能力。
結局のところ、ビデオモデルをリアルタイムでゲームを描くというのは、消費級グラフィクスカードでは対応できない作業のように思える。
ほぼ同時期に、NVIDIAの研究チームもStreamRender-H3を発表しました。これも「コードが動作する世界、ビデオモデルが画面を生成する」というアプローチを採用しています。
しかし、公式に公表されている配置では、8枚のGB200 GPUが使用されています。各ビデオブロックは2段階のノイズ除去処理を採用しており、各ストリーミング生成ステップの拡散レンダリングにかかる時間は218msです。
これはまだ拡散レンダリング段階に過ぎません。ビデオブロックの収集、デコーディング、再生などのプロセスを含めると、2つのビデオブロックで1回の完全なフィードバックが生じるとして計算すると、エンドツーエンドの遅延は約545msです。
このデータを大まかに比較すると、Matrix-Game 4.0はキー入力から画面表示まで約112msかかり、StreamRender-H3が推定するエンドツーエンドの遅延の五分の一に相当します。ハードウェア構成では、8枚のGB200からRTX 5090の1枚に減少した。
もちろん、両者の解像度と遅延の統計基準は完全に一致していないため、直接順位を比較することはできません。
しかし、実際の実装を見ると、単一の消費者向けグラフィックスカードがこの速度を達成できるのは、十分なインパクトがある。
そして、このカードも、突然すべてを支えるわけではない。
Matrix-Game 1.0から、チームはゲームの世界モデルを補強し続けています：
1.0では生成された世界がプレイヤーの操作を理解するようにし、2.0ではリアルタイム性を解決し、3.0では長期記憶を補完し、3.5では空間とキャラクターの安定を維持する。
△画像はAIによって生成されました
4.0になると、チームは別の問題に直面し始めた：
このリアルタイムで生成され、記憶される世界、いつになって初めてゲームと言えるのか？
答えはすでに明らかです。つまり、ルールをコードとゲームエンジンに委ねるのです。
しかし、ルールと画面をRTX 5090上で同時に動作させるためには、単に役割を再分けるだけでは不十分だ。
また、工学の観点から全チェーンに負荷を軽減する必要がある。
第一減：モデルが自分で推測する必要のあるものを減らす
第一歩として、生成タスクを簡単にする。
「空中で絵を描く」？？いやいや、『図面を見て豪華版にする』ほど手間がかからないわけがない。
モデルにこの技術を教えるために、チームはUE5で一対のデータを作成しました：一方は構造画像で、もう一方は対応する詳細な画像です。
前者は素材や光の当たり方などは問わず、シーン構造や物体の位置、動きの軌道のみを保持する。後者が最終的に生成される効果である。
このように練習すれば、ゲームエンジンはまず構造図面を表示した後、ビデオモデルに材質、光の効果、環境の詳細を補完することができます。
しかし、スケッチだけでは不十分です。
同じブロックは、盾なのかNPCなのか、道路の検問所なのかが、モデルではわからない。
そこでシステムはエンジンが提供する可視対象とリアルタイムの状態を読み取り、動的にCaptionを生成し、モデル画面に何があるか、何が起こっているかを伝えます。
動画アドレス：https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA
構造画面は「どこにあり」を表示し、動的キャプションは「何であるか、何をしているか」を説明する役割を担う。
いい奴だ、図面と説明書を手に渡したよ。
これで、ビデオモデルはそのまま描いていい。
第二項の減算：モデルで自分で覚える必要があるものを減らす
一枚の絵だけでは不十分で、ゲームは続けて進行しなければならない。
問題は、動画が長くなるほど、歴史的映像が多くなることです。
各生成ごとにモデルを最初から記録を書き換えることになり、手間がかかりるだけでなく、前の部分が歪んでいる部分もそのまま引き継がれてしまう可能性があります。
いや、重要な画面を直接目の前に押し出すのは素晴らしいじゃないか~
Matrix-Game 4.0は、Wan2.2 5B Fun Controlを改修してV2Vモデルを作成しました。生成される際には、現在の構造画面を参考にするだけでなく、空間記憶参照図、接続用の最初のフレーム、およびキャッシュ内の最近の履歴情報も呼び出されます。
どこに、どのような形で、どのように接続するかがすべて明確になっているので、描きながら方向を間違える可能性も自然と下がります。
第三減：モデルに必要な計算項目を削減する
最後の一撃は、計算量そのものに直接当たる。
拡散モデル生成画面は、画面いっぱいに散らばるノイズの中から何度も修正を繰り返すように思えます。一度だけでは不十分で、さらに何度も修正を重ねて、ようやく画面が形になります。
ゲームはこれ以上待てない。
チームは少ないステップの自回帰ディストルシブを使用することで、このプロセスを1ステップまたは2ステップのみの変更に圧縮し、一度に4フレームのみを生成した。
計算が速くないため、GPUはCPUから命令を受け取るのを待っており、歴史データも行き来して運ばれるため、速度が遅くなる。
そこでCUDA Graph、FP8統合演算器、KV環状キャッシュ、そして軽量エンコード・デコード器もすべて導入された：
能少算一次就少算一次、能不搬のデータは回数をかけて移動しないでください。
最終的に、テキストエンコーダ、DiT、VAEはすべてRTX 5090に常駐した。
単段階のノイズ除去時には、ビデオモデルの安定状態生成速度が83 FPSに達し、二段階のノイズ除去時は約57 FPSである。
実際のゲームは60FPSで動作し、プレイヤーがキーを押すと、0.15秒も経たないうちに画面の応答が見られます。
本当に、ここを見てると、単体カードの60フレームが本当にすごいと思う。もはや「60」という数字だけではない。
以前は計算能力の高いクラスターの中でしか実行できなかったゲーム世界モデルですが、今ではRTX 5090を使えば、開発者のデスクトップ上で直接実行できるようになりました。
動画アドレス：https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA
さらに驚くべきことに、ハードウェアの障壁が取り除かれたばかりのところで、崑崙万維はまた一撃を加えた：
オープンソース。
中国のAIはゲーム世界モデルにオープンソースを活用する
「オープンソース」という行為は、ゲーム世界モデルにおいて、想像以上に重要な意味を持つ。
世界モデルの発表を見るたびに、どこか見慣れた感覚がする：
デモは本当に悪い。
雪山、都市、砂漠など何でも生成でき、キャラクターは方向キーを押すと前に進む。この動画はソーシャルプラットフォームで絶えず拡散されている。
それで、次はどうするの？
そして、それで終わりです。
モデルの重みが手に入らず、推論コードが見えない。開発者がローカルにダウンロードできるわけもない。ルールを変更したり、シナリオを変えて試してみるしかない。
業界を簡単に見てみると、ほとんどのプレイヤーが製品やAPI、研究デモを公開しているだけで、実際にモデルとコードを開発者に渡しているのはごく少数だけです。
ですから、Matrix-Game 4.0のこのオープンソース版は、使っていて心臓に負担がかからないことを特徴としています（手动狗头）。
注目ですが、これは今日突然「始める」と思ったわけではありません。この会社はMatrix-Game 1.0からずっとオープンソースの路線を歩んできました。
振り返ってみると、こんなに早く技術を公開することを選んだのは、非常に重要な理由があるように思えます。
世界モデルレースはますます活気づいているが、技術的なアプローチはまだ収束していない。
△画像はAIによって生成されました
ある人は動画生成に投資を続け、別の人は3D空間に焦点を当て、また別の人はゲームエンジンを再び利用する。
見た目は世界モデルのようだが、基本的な解法は実際にはどんどん異なってきている。
唯一明らかになったのは、光でビデオを生成するだけでは不十分であり、世界が参加でき、相互作用が可能で、さらに長期にわたって動作できるようになる必要があるということです。
この一歩をどう踏み出すかについて、各社はまだ狂ったように試行錯誤している。
標準的な答えがないからこそ、オープンソースに活用の場があるのです。
モデルを開発者に渡して、再現できるか、別のシナリオではうまくいかないか、さらに新しい遊び方は何ができるかを、直接実行してみる。
使えるかどうかは、コミュニティが自然と答えを出すだろう。
そして、このプレイスタイルは、私たちにとってもう非常によく知っているものです。
大言語モデルがオープンソースになり、マルチモーダルも引き続きオープンソース化されています。現在は、崑崙万維を代表とする中国のオープンソース力が、ゲーム世界モデルにも進出しています。
いいや、新しい競争レースが始まったばかりなのに、既知の方法がすでに提供されている。
もちろん、Matrix-Game 4.0は今のところ始まりに過ぎません。
480pの画質は実際にはそれほど高精細ではありません。より安定した動き、より長い時間、より多くの人が同時にプレイするAI世界まで、まだ道のりがあります。
しかし、場所もまだ決まっていないので、答えも当然、数社だけに閉ざされた状態で書かせるわけにはいきません。
Google Genieの後、国産プレイヤーが今回示した解決策は：
コードは世界が規則を守るようにする役割を担い、AIは世界を描き出す役割を担う。
RTX 5090一台で動作し、モデルとコードも一緒に提出されました。
後で開発者がどのように利用できるかは？
言えるのは：
マトリックスゲーム4.0の大舞台、好きな人は来てください。
【大舞台伝送門】：
https://github.com/SkyworkAI/Matrix-Game
https://huggingface.co/Skywork/Matrix-Game-4.0
https://matrix-game-v4-0.github.io/page/