"AI生成動画を見る"から"AIが生成した世界を自らプレイする"へ——その間に立ちはだかるのは、実は"リアルタイム"という壁でした。
2026年10月15日、昆仑万维は世界初、単体のコンシューマーグラフィックボード上で動作する動画大モデルゲーム——Matrix-Game 4.0 を正式発表しました。Matrix-Game 4.0 はゲーム世界モデルの新パラダイムを構築しました：ゲームエンジンが世界の状態とインタラクションルールを維持し、動画生成モデルがリアルタイムで精細な映像を描画します。480p・60 FPS のリアルタイムゲーム体験を、1枚の NVIDIA RTX 5090 に収めました。キーを押してから画面が反応するまでの遅延は150ミリ秒未満です。Matrix-Game 4.0 は"コードでゲームロジックを生成 → 構造画面が構造的制約を提供 → 動画モデルがリアルタイムレンダリング"という完全なクローズドループを初めて実現し、ゲームプロトタイプ開発、パーソナライズされたカスタマイズ、UGCに真に実装可能な技術パスをもたらしました。プロジェクトは同時にオープンソース化されています。
オープンソースアドレス
Hugging Face：https://huggingface.co/Skywork/Matrix-Game-4.0
一、1つのコードから遊べる世界へ——Matrix-Game 4.0 の4つの礎
1. 単一GPUリアルタイム："遊べる動画モデル"を研究室の外へ
コンシューマーグラフィックボード上でゲーム画面をリアルタイム生成することは、両立が難しい目標でした——動画生成モデルの計算能力への要求が、長らくそれを研究室のマルチGPUクラスタに閉じ込めていたからです。
Matrix-Game 4.0 が示した答えは一連の具体的指標です：1枚の NVIDIA RTX 5090 で、480p 解像度のゲームが 60 FPS で動作。プレイヤーがキーを押してから最初のフレームが応答するまでのエンドツーエンド遅延は150ミリ秒未満。単一ステップのデノイジングにおける定常生成速度は 83 FPS、VRAMピークは 18.5 GiB。
これらの数字は、動画モデル駆動のゲームが初めてローカルデプロイとリアルタイムインタラクションの実用的価値を備えたことを意味します——もはやオフラインレンダリングのデモ動画ではなく、パソコンの前に座って実際に操作できるゲームなのです。
2. Harness 新パラダイム：世界の状態を本当に"管理"する
Matrix-Game 4.0 は動画モデルと世界の関係を再定義しました：Coding Agent（プログラミングエージェント）がコードによって軽量なゲームを構築し、エンジンが"審判"として世界の状態を継続的に維持し、インタラクションルールを実行し、構造画面と動的セマンティック条件を出力します。動画モデルは"画家"として、単純な幾何を豊かな画面へと変換する役割を担います。
エンジンによる外部制約と継続的な補正により、世界の状態を持続的に維持でき、ゲームルールを正確に定義でき、プレイスタイルを自然言語で書き換えられます——これは Genie パラダイムが決して真に解決できなかった"世界が真剣に管理されているか"という問題です。
3. データ・訓練・ランタイムの貫通：再利用可能なエンジニアリングチェーン
構造画面-精細画面のデータペア収集、動的セマンティックアノテーションから、制御可能な動画訓練、少ステップ自己回帰蒸留、リアルタイム推論まで、統一された幾何およびセマンティック条件が完全な技術チェーンを貫きます。
このプロセスは、新シーン・新インタラクション・新プレイスタイルの拡張にエンジニアリング基盤を提供します：精細な3Dアセット制作への依存を低減し、ゲームプロトタイプの迅速な開発とイテレーションを可能にし、"小さなチームでも世界を作れる"をスローガンから現実へと変えます。
4. 発表と同時オープンソース化：クリエイターを本当に"遊ばせる"
Matrix-Game 4.0 は発表と同時にオープンソース化され、研究者、開発者、クリエイターに再利用可能な技術基盤と改変可能なゲームコードを提供します。Coding Agent と組み合わせることで、クリエイターは自然言語でシーンを調整し、インタラクションをカスタマイズし、ゲームプレイを設計できます——研究と創作のハードルを一行の Prompt の高さまで引き下げ、より多くのアイデアを実際に体験でき、継続的に改良できるゲームへと変えます。
二、3つの根本的なネック：なぜ"歩ける"世界は"面白くない"のか
前世代のインタラクティブ世界モデルを振り返ると、問題は決して画面品質にはありませんでした——十分に美しいシーンを生成できていたのですから。真のネックは、もっと根深いところに隠れています。前世代のアプローチを分解すると、3つの問題がずっと解決されないままでした。
1. 世界の状態に独立した検証可能な維持メカニズムが欠けている
外部エンジンが明示的な状態を維持しない場合、シーンや物体の持続的存在は、主にモデルの内部表現と履歴メモリに依存します。モデルはかつて見た画面を"記憶"することはできますが、それは開発者が各物体の状態を正確に読み取り、修正し、検証できることを意味せず、視野の外にいるキャラクターやイベントが指定されたルールに従って持続的に変化することを保証することも困難です。
2. 長時間インタラクションの一貫性が依然として安定して保証されにくい
自己回帰生成はそれまでの生成結果に依存するため、局所的なズレが連続的なインタラクションとともに伝播・蓄積する可能性があります。プレイヤーが長時間探索したり、同じ場所に繰り返し戻ったり、物体が何度も視野に入ったり出たりすると、シーン構造、物体の同一性、インタラクションの結果がドリフトする可能性があります。コンテキストの拡大やメモリ機構の導入はこれらの問題を改善できますが、ゲームレベルの長期一貫性の保証をもたらすわけではありません。
3. 妥当なインタラクション画面は、信頼できるゲームルールと等しくない
モデルはドアを開ける、衝突、攻撃といった視覚効果を生成できますが、完全なゲームには正確な数値処理が必要です——ライフ値の増減、アイテムの帰属、クエストの進行、勝敗判定。これらのメカニズムは"合理的に見える"だけでなく、開発者が明確に定義、修正、テストでき、異なる操作や長時間の実行において一貫性を保てなければなりません。
3つの問題は、実は同じ事実を指し示しています：既存のアプローチは"世界"をモデルの記憶の中に預けており、ゲームに必要なのは、読み取り、修正、検証できる世界なのです。
これこそが Matrix-Game 4.0 が"コードでゲームを構築し、AIがリアルタイムで画面を生成する"というパラダイムを選んだ出発点です——モデルに世界全体を頑張って記憶させるより、世界に明示的でメンテナンス可能な担体を与える方が良いのです。
三、新パラダイム：エンジンに世界を管理させ、AIに世界を描かせる
Matrix-Game 4.0 の解決策は、動画モデルに世界の状態を維持する役割を担う"Harness"を装着することです——外部のゲームマネージャーが空間レイアウトの参照を提供し、世界の状態を管理し、セマンティックな動的情報を更新し、動画モデルはこれらのコンテキストと制御条件を統一的に受け取り、自己回帰的に短時間かつリアルな未来画面を生成します。
システム全体は3つのモジュールで構成され、役割分担が明確です：
エンジンは世界で「実際に何が起きたか」を記録し、プレイヤーの操作がどんな結果を生むかを決定します。完全で精細な画面制作を担う必要はなく、簡略化された幾何モデルとシーン構造を通じて、道路、建物、キャラクター、インタラクト可能なオブジェクトを記述します。体力、インベントリ、重力、衝突、クエスト進行などの状態とルールは、すべてコードによって明示的に維持・実行され、生成画面から推測されるものではありません。プレイヤーの操作に応じて、エンジンは世界を継続的に更新し構造画面を出力することで、動画モデルにシーンレイアウト、オブジェクトの動き、カメラ視点の制約を提供します。オブジェクトが視界から外れても、その状態はエンジンがゲームルールに従って維持し続けます。
プログラミングエージェントは、プレイヤーのアイデアを動作するゲームへと変換する役割を担います。プレイヤーは自然言語で要件を提示でき、地形の調整やオブジェクトの配置から、NPCの行動変更、新しい遊び方の設計まで、すべてこれがシーン設定とゲームコードとして実装されます。例えば「モンスターを四方八方から押し寄せさせる」ことは、画面にモンスターが増えるだけでなく、出現位置、移動方法、攻撃行動、勝敗条件の実装も必要とします。プログラミングエージェントは、シーンの意味論的・視覚的スタイルの定義も支援できます。同じ簡略化された建物も、海辺の古い家としても、未来都市の店としても設定できます。これらの記述はテキスト条件として、構造画面とともに視覚生成を導きます。
動画モデルは、構造画面を精細な視覚体験へと変換する役割を担います：シーン構造と運動の制約を保持した上で、質感、ライティング、環境の雰囲気、豊かな外観ディテールを生成し、個別に精細な3Dアセットを制作することへの依存を低減します。現在の制御条件と過去のフレームを組み合わせ、因果的自己回帰方式で継続的に生成し、リアルタイム再レンダリング向けの少ステップ蒸留と推論最適化により、プレイヤーの操作から画面応答までの待ち時間を短縮します。
リアルタイム実行フロー：プレイヤー操作 → エンジンが世界状態を更新 → 構造画面と制御条件を出力 → 動画モデルがリアルタイムレンダリング → プレイヤーへ表示
このアプローチの鍵は、ゲームの動作とゲームの見た目を分けて扱うことです：コードがルールを担い、エンジンが状態を維持し、動画モデルが視覚表現を生成します。プログラミングエージェントの創作能力と組み合わせることで、Matrix-Game 4.0 はより多くの人がより低い制作ハードルで、アイデアを遊べる、改変可能、継続的に反復可能なゲームへと転換できるようにします。
四、データから推論加速へ：貫通した完全なパイプライン
リアルタイムで動作する「ゲームの世界」の背後には、データ、学習、ランタイムの3層の能力の連携があります。
データ：世界モデル向けに構築された構造画面-精細画面アライメントデータセット
チームはUnreal Engine 5（UE5）をベースに、世界モデルと動画生成に向けた構造画面-精細画面のクロスドメインアライメントデータセットを構築し、CitySampleの巨大都市、オープンな砂漠、複雑な城、高動的な空戦という4つの典型的なシーンをカバーしています。
独自開発の軽量幾何抽象化キャプチャパイプラインは、カメラ軌跡とタイムスタンプを厳密に時空間同期させたまま、複雑なシーンを空間トポロジー、剛体ポーズ、力学軌跡を保持したローポリの構造表現へ抽象化し、ハイポリの映像レベル画面とフレームごと・ピクセルレベルでアライメントします。同時に、オブジェクトのインスタンスID、可視状態、因果的インタラクションイベントを並行して取得し、リッチなセマンティクスを持つ動的メタデータストリームを構築します。
動的Caption：説明をゲームとともに動かす
インタラクティブなゲームでは、画面はプレイヤーの操作に応じて絶えず変化します：視点を回すと見えるオブジェクトが変わり、移動やイベントのトリガーでオブジェクトの状態も変化します。固定のテキスト説明ではこれらの変化に即座に対応できません。
Matrix-Game 4.0 は動的Captionを導入しました：システムはシーン内のオブジェクトのIDとセマンティック説明を関連付け、ゲームエンジンから現在可視のオブジェクトとリアルタイムの状態を取得し、実行時にプロンプトテンプレートへ埋め込みます。構造画面は位置、レイアウト、運動などの構造情報を提供し、Captionは「画面にどのオブジェクトがどんな状態であるか」といったセマンティック情報を補完し、両者が共同で生成を制約します。
制御可能な生成と空間メモリ
動画モデルはWan2.2 5Bをベースに動画から動画（V2V）モードへ改造されました：エンジンがレンダリングした構造画面と生成対象の動画をチャネルごとに連結し（148チャネル入力）、「何を、どこに描くか」をモデルに伝えます。同時に、動的に合成されたシーンイベントprompt、空間メモリ参照画像、最初のフレームを入力し、それぞれディテール記述、シーンの一貫性、画面のつながりを担当します。
レンダリングモデルのネットワーク構成：148チャネル連結入力、30層の因果DiT、自己注意でK/Vキャッシュを読み込み、クロスアテンションでテキストK/Vを読み込む
推論加速：1ミリ秒ずつ切り出す
60 FPSをコンシューマー向けGPUで実現するため、チームは大量のエンジニアリング最適化を行いました：CUDA GraphでDiTバックボーンの計算を事前録画し、実行時に一括でリプレイ。RoPE、正規化、FP8量子化向けに融合した専用GPUカーネルを作成し、同一層のQ、K、Vが1回の入力量化を共有。テキスト条件のKVはCaption更新時のみ再計算。動画履歴のKVはリングバッファへ変更。自己注意はKVウィンドウで分割して並列計算。エンコード・デコードは軽量なTAEHVに置き換え。最終的に、テキストエンコーダー、DiT、VAEはすべて1枚のRTX 5090に常駐できます。
五、Coding Agent：一つの思いつきで、ゲームを作り変える
Matrix-Game 4.0 の最もエキサイティングな点は、おそらく描画の美しさではなく、どれほど簡単に「改変」できるかでしょう。
プログラミングエージェント（Coding Agent）を活用すれば、プレイヤーは既存のゲームコードをベースに、自然言語で自分のゲームをカスタマイズできます：地形の調整やシーンオブジェクトの配置から、NPCの行動やインタラクションロジックの変更、さらにはまったく新しい遊び方の設計まで。
アイデアはもはや3Dアセットの生産ラインで立ち往生することなく、直接「遊べて、反復可能」な段階に入ることができます。
これこそがこの技術パスの現実的な意義です：AIプログラミングアシスタントの急速な進歩に伴い、軽量なゲームエンジンを構築するコストは大幅に低下しました。私たちは、クリエイターがプロジェクト提供のゲームコードをベースに改変・拡張を続け、ともにより多くの遊び方を探究することも奨励します。
この1年、動画生成モデルによるゲーム実行は多くの新記録を達成してきました。しかし、一般プレイヤーのPCで動かせるかどうかは、別の話です。
この比較図から、エンドツーエンドのレイテンシは、Code World Model が約10.2秒、StreamRender-H3 が約545ミリ秒、AgentGarten が約878ミリ秒であるのに対し、Matrix-Game 4.0 はわずか112ミリ秒です。キーを押してから画面が応答するまで、前者の約1/90、後二者の1/5と1/8であり、初めて真に「リアルタイムで遊べる」領域に入りました。
計算要件では、他の方式はそれぞれ1× H200 141GB、8× GB200、1× H100のデータセンターカードを必要としますが、Matrix-Game 4.0 は1× RTX 5090でのみ動作します。コンシューマー向けGPU1枚、32GBのVRAMがあれば十分です。
オープンソースの状況では、Code World Model と StreamRender-H3 は公開済み、AgentGarten は部分公開、Matrix-Game 4.0 はコード、重み、素のモデルが同時に公開されています。
六、オープンソースで、より多くの人が一緒に「遊ぶ」
Matrix-Game 4.0 はリリースと同時にオープンソース化され、研究者、開発者、クリエイターに再利用可能な技術基盤と改変可能なゲームコードを提供します。私たちは、クリエイターがプロジェクト提供のゲームコードをベースに改変・拡張を続け、ともにより多くの遊び方を探究することを奨励します。
今後、チームはモデルの継続的な改良を行います：refinerをデプロイして画面解像度を向上させ、プレイヤー間で視点の一貫性を保つマルチプレイ体験を探究し、より細かい粒度の画面制御を提供し、より多くのゲームジャンルとシーンへの対応を拡大していきます。
「制御可能な動画」から「動作する世界」へ。この一歩は、見た目以上に重要かもしれません。それは、創作のハードルが下がり、想像力の境界が広がっていることを意味します。