De « regarder des vidéos générées par l'IA » à « jouer de ses propres mains à des mondes générés par l'IA » — ce qui les sépare, en réalité, c'est un obstacle lié au « temps réel ».
Le 15 octobre 2026, Kunlun Wanwei a officiellement lancé Matrix-Game 4.0, le premier jeu au monde fondé sur un modèle vidéo de grande envergure fonctionnant sur une seule carte graphique grand public. Matrix-Game 4.0 établit un nouveau paradigme pour les modèles de mondes de jeu : un moteur de jeu maintient l'état du monde et les règles d'interaction, tandis qu'un modèle de génération vidéo restitue en temps réel des images détaillées. Il fait tenir une expérience de jeu en temps réel en 480p à 60 FPS dans une seule NVIDIA RTX 5090 ; du moment où vous appuyez sur une touche jusqu'à la réaction de l'image, la latence est inférieure à 150 millisecondes. Matrix-Game 4.0 a pour la première fois mis en place la boucle complète « génération de la logique du jeu par code → images structurelles fournissant des contraintes structurelles → rendu en temps réel par le modèle vidéo », offrant ainsi aux prototypes de jeux, à la personnalisation et au UGC une voie technique véritablement exploitable. Le projet a été rendu open source simultanément.
Adresse de l'open source
Huggingface : https://huggingface.co/Skywork/Matrix-Game-4.0
I. D'un morceau de code à un monde jouable — les quatre pierres angulaires de Matrix-Game 4.0
1. Temps réel sur une seule carte : faire sortir de laboratoire le « modèle vidéo jouable »
Générer en temps réel des images de jeu sur une carte graphique grand public était un objectif longtemps inaccessible — l'appétit en puissance de calcul des modèles de génération vidéo l'a longtemps enfermé dans les clusters multi-cartes des laboratoires.
La réponse de Matrix-Game 4.0 est une série d'indicateurs exigeants : une seule NVIDIA RTX 5090, avec le jeu fonctionnant à 60 FPS en résolution 480p ; du bouton pressé par le joueur à la première image en réponse, une latence de bout en bout inférieure à 150 millisecondes ; une vitesse de génération en régime permanent de 83 FPS par étape de débruitage, avec un pic de mémoire vidéo de 18.5 GiB.
Ces chiffres signifient que les jeux propulsés par des modèles vidéo disposent pour la première fois d'une valeur pratique de déploiement local et d'interaction en temps réel — ce n'est plus une vidéo de démonstration rendue hors ligne, mais un jeu que vous pouvez vraiment prendre en main devant votre ordinateur.
2. Le nouveau paradigme Harness : faire en sorte que l'état du monde soit véritablement « géré »
Matrix-Game 4.0 redéfinit la relation entre le modèle vidéo et le monde : un Coding Agent (agent de programmation) construit des jeux légers par le code, le moteur agit comme « arbitre » en maintenant en continu l'état du monde et en exécutant les règles d'interaction, et produit des images structurelles et des conditions sémantiques dynamiques ; le modèle vidéo, en tant que « peintre », est chargé de transformer des géométries simples en images riches.
Les contraintes externes et la correction continue du moteur permettent de maintenir durablement l'état du monde, de définir précisément les règles du jeu et de réécrire le gameplay en langage naturel — c'est là le problème du « monde est-il réellement géré sérieusement » que le paradigme Genie n'a jamais véritablement résolu.
3. Relier données, entraînement et exécution : une chaîne d'ingénierie réutilisable
De la collecte de paires de données images structurelles-images détaillées et de l'annotation sémantique dynamique, à l'entraînement vidéo contrôlable, à la distillation autorégressive à peu de pas et à l'inférence en temps réel, des conditions géométriques et sémantiques unifiées parcourent l'ensemble de la chaîne technique.
Ce flux de travail fournit une base d'ingénierie pour étendre de nouveaux scénarios, de nouvelles interactions et de nouveaux modes de jeu : réduire la dépendance à la production d'assets 3D détaillés, permettre le développement et l'itération rapides de prototypes de jeux, et faire passer « même les petites équipes peuvent construire des mondes » du slogan à la réalité.
4. Open source simultané au lancement : permettre aux créateurs de vraiment « jouer »
Matrix-Game 4.0 a été rendu open source simultanément à son lancement, offrant aux chercheurs, développeurs et créateurs une base technique réutilisable et un code de jeu modifiable. En combinaison avec le Coding Agent, les créateurs peuvent ajuster les scènes, personnaliser les interactions et concevoir le gameplay en langage naturel — ramenant le seuil de la recherche et de la création à la hauteur d'une simple ligne de Prompt, afin que davantage d'idées deviennent des jeux que l'on peut expérimenter soi-même et itérer en continu.
II. Trois points de blocage fondamentaux : pourquoi un monde qui « peut marcher » n'est pas pour autant « amusant »
En revenant sur la génération précédente de modèles de mondes interactifs, le problème n'a jamais été la qualité des images — elles savaient déjà générer des scènes suffisamment belles. Le véritable point de blocage se cache à un niveau plus profond. En décomposant l'approche de la génération précédente, trois problèmes n'ont jamais été résolus.
1. L'état du monde manque d'un mécanisme de maintenance indépendant et vérifiable
En l'absence d'un moteur externe maintenant un état explicite, la persistance des scènes et des objets repose principalement sur les représentations internes et la mémoire du modèle. Le modèle peut « se souvenir » des images déjà vues, mais cela ne signifie pas que le développeur puisse lire, modifier et vérifier précisément l'état de chaque objet, et il est difficile de garantir que les personnages et événements hors du champ de vision évoluent continûment selon les règles spécifiées.
2. La cohérence sur de longues interactions reste difficile à garantir de manière stable
La génération autorégressive dépend des résultats générés précédemment, et des écarts locaux peuvent se propager et s'accumuler au fil des interactions successives. Lorsque le joueur explore longuement, revient à plusieurs reprises au même endroit, ou fait entrer et sortir des objets du champ de vision à plusieurs reprises, la structure de la scène, l'identité des objets et les résultats des interactions peuvent dériver. L'élargissement du contexte et l'introduction de mécanismes de mémoire peuvent améliorer ces problèmes, mais n'apportent pas de garantie de cohérence à long terme de niveau jeu.
3. Des images d'interaction plausibles ne signifient pas des règles de jeu fiables
Le modèle peut générer des effets visuels comme l'ouverture d'une porte, une collision ou une attaque, mais un jeu complet exige également des calculs numériques précis — augmentation et diminution des points de vie, attribution des objets, progression des quêtes, détermination de la victoire ou de la défaite. Ces mécanismes doivent non seulement « paraître plausibles », mais aussi pouvoir être définis, modifiés et testés explicitement par les développeurs, et rester cohérents à travers différentes actions et de longues sessions de jeu.
Ces trois problèmes renvoient en réalité à une même chose : les approches actuelles « déposent » le monde dans la mémoire du modèle, alors que les jeux exigent un monde qui puisse être lu, modifié et vérifié.
C'est précisément le point de départ du choix de Matrix-Game 4.0 pour le paradigme « code pour construire le jeu, IA pour générer les images en temps réel » — plutôt que de faire travailler le modèle à mémoriser tout le monde, autant donner au monde un support explicite et maintenable.
III. Le nouveau paradigme : laisser le moteur gérer le monde, laisser l'IA peindre le monde
La solution de Matrix-Game 4.0 consiste à équiper le modèle vidéo d'un « Harness » chargé de maintenir l'état du monde — un gestionnaire de jeu externe fournit des références de disposition spatiale, gère l'état du monde et met à jour la dynamique sémantique, tandis que le modèle vidéo reçoit ces contextes et conditions de contrôle de manière unifiée et génère autorégressivement des images futures courtes et réalistes.
L'ensemble du système est composé de trois modules, avec une répartition claire des rôles :
Le moteur est chargé d'enregistrer « ce qui se passe réellement » dans le monde et de déterminer les résultats des actions du joueur. Il n'a pas à assumer une production d'images fines complète, mais décrit les routes, les bâtiments, les personnages et les objets interactifs au moyen de modèles géométriques simplifiés et de structures de scènes ; les états et règles tels que les points de vie, l'inventaire, la gravité, les collisions et la progression des quêtes sont tous maintenus et exécutés explicitement par le code, et non déduits des images générées. Au gré des actions du joueur, le moteur met continuellement à jour le monde et produit des images structurées, fournissant au modèle vidéo des contraintes sur la disposition de la scène, le mouvement des objets et le point de vue de la caméra. Même lorsqu'un objet quitte le champ de vision, son état reste maintenu par le moteur selon les règles du jeu.
L'agent de programmation est chargé de transformer les idées créatives du joueur en jeu exécutable. Le joueur peut formuler ses demandes en langage naturel, qu'il s'agisse d'ajuster le terrain, de placer des objets, de modifier le comportement des NPC ou de concevoir de nouvelles mécaniques de jeu : tout est concrétisé en configurations de scènes et en code de jeu. Par exemple, « faire venir les monstres de toutes les directions » ne signifie pas seulement faire apparaître davantage de monstres à l'écran, mais nécessite aussi d'implémenter les positions d'apparition, les modes de déplacement, les comportements d'attaque et les conditions de victoire ou de défaite. L'agent de programmation peut également aider à définir la sémantique et le style visuel de la scène : un même bâtiment simplifié peut être défini comme une vieille maison au bord de la mer ou comme une boutique dans une ville futuriste — ces descriptions servent de conditions textuelles qui, avec les images structurées, guident la génération visuelle.
Le modèle vidéo est chargé de transformer les images structurées en expériences visuelles raffinées : tout en préservant la structure de la scène et les contraintes de mouvement, il génère les matériaux, l'éclairage, l'atmosphère ambiante et de riches détails d'apparence, réduisant ainsi la dépendance à la création d'actifs 3D fins un par un. Il combine les conditions de contrôle actuelles et les images historiques pour générer de manière causale et autorégressive en continu, et raccourcit, grâce à une distillation en peu de pas et à des optimisations d'inférence orientées vers le re-rendu en temps réel, le délai entre l'action du joueur et la réponse à l'écran.
Flux d'exécution en temps réel : action du joueur → mise à jour de l'état du monde par le moteur → sortie des images structurées et des conditions de contrôle → rendu en temps réel par le modèle vidéo → présentation au joueur
La clé de cette approche consiste à traiter séparément le fonctionnement du jeu et sa présentation : le code porte les règles, le moteur maintient l'état, le modèle vidéo génère la représentation visuelle. Combinée à la capacité de création de l'agent de programmation, Matrix-Game 4.0 permet à un plus grand nombre de personnes de transformer leurs idées en jeux jouables, modifiables et itérables en continu, avec un seuil de production plus bas.
IV. Des données à l'accélération de l'inférence : une chaîne complète et intégrée
Un « monde de jeu » capable de fonctionner en temps réel repose sur l'articulation de trois couches de capacités : les données, l'entraînement et l'exécution.
Données : un jeu de données alignant images structurées et images fines, construit pour les modèles de monde
L'équipe a construit, sur la base de Unreal Engine 5 (UE5), un jeu de données d'alignement inter-domaine entre images structurées et images fines, destiné aux modèles de monde et à la génération vidéo, couvrant quatre types de scènes typiques : la mégapole CitySample, un désert ouvert, un château complexe et un combat aérien à haute dynamique.
Le pipeline d'acquisition d'abstraction géométrique léger développé en interne, tout en maintenant une synchronisation stricte dans l'espace et le temps des trajectoires de caméra et des horodatages, abstracte les scènes complexes en représentations structurées basse résolution préservant la topologie spatiale, les poses des corps rigides et les trajectoires dynamiques, alignées image par image au niveau du pixel avec les images cinématographiques haute résolution ; parallèlement, il capture l'ID des instances d'objets, leur état de visibilité et les événements d'interaction causaux, constituant un flux de métadonnées dynamiques riche en sémantique.
Caption dynamique : des descriptions qui suivent le jeu
Dans un jeu interactif, l'image change sans cesse selon les actions du joueur : après une rotation du point de vue, les objets visibles diffèrent ; après un déplacement ou le déclenchement d'un événement, l'état des objets change également. Une description textuelle fixe peine à refléter ces changements en temps utile.
Matrix-Game 4.0 introduit la caption dynamique : le système associe les ID des objets de la scène à leurs descriptions sémantiques, obtient du moteur de jeu les objets actuellement visibles et leur état en temps réel, et remplit à l'exécution les modèles de prompt. Les images structurées fournissent les informations structurelles telles que la position, la disposition et le mouvement, tandis que la caption complète les informations sémantiques telles que « quels objets sont dans l'image et dans quel état » ; les deux contraignent ensemble la génération.
Génération contrôlable et mémoire spatiale
Le modèle vidéo est basé sur Wan2.2 5B, transformé en mode vidéo-vers-vidéo (V2V) : l'image structurée rendue par le moteur et la vidéo à générer sont concaténées par canaux (entrée à 148 canaux), indiquant au modèle « quoi dessiner et où le dessiner » ; sont également fournis en entrée le prompt d'événements de scène synthétisé dynamiquement, l'image de référence de mémoire spatiale et la première image, chargés respectivement de la description des détails, de la cohérence de la scène et de la continuité visuelle.
Architecture du réseau du modèle de rendu : entrée concaténée à 148 canaux, 30 couches de DiT causal, auto-attention lisant un cache K/V, attention croisée lisant les K/V du texte
Accélération de l'inférence : gratter chaque milliseconde
Pour que les 60 FPS se concrétisent réellement sur des cartes graphiques grand public, l'équipe a réalisé de nombreuses optimisations d'ingénierie : pré-enregistrement du calcul du tronc DiT avec CUDA Graph et relecture en une seule passe à l'exécution ; écriture de kernels GPU dédiés fusionnés pour RoPE, la normalisation et la quantification FP8, les Q, K et V d'une même couche partageant une seule quantification d'entrée ; les KV de la condition textuelle ne sont recalculés que lors de la mise à jour de la caption ; les KV de l'historique vidéo passent à un cache circulaire ; l'auto-attention est découpée en fenêtres KV et calculée en parallèle ; le codec est remplacé par le léger TAEHV. Au final, l'encodeur de texte, le DiT et le VAE peuvent tous résider sur une seule RTX 5090.
V. Coding Agent : réécrire un jeu avec une seule idée
Ce qui est peut-être le plus enthousiasmant dans Matrix-Game 4.0, ce n'est pas la qualité de ses images, mais la facilité avec laquelle il peut être « modifié ».
Grâce à l'agent de programmation (Coding Agent), le joueur peut personnaliser son jeu en langage naturel à partir du code de jeu existant : ajuster le terrain, placer des objets dans la scène, modifier le comportement et la logique d'interaction des NPC, voire concevoir des mécaniques de jeu entièrement nouvelles.
La créativité n'est plus bloquée sur la chaîne de production d'actifs 3D, mais peut passer directement au stade « jouable et itérable ».
C'est là toute la portée pratique de cette voie technologique : avec les progrès rapides des assistants de programmation par IA, le coût de construction d'un moteur de jeu léger a considérablement diminué. Nous encourageons également les créateurs à continuer d'adapter et d'étendre le code de jeu fourni par le projet, afin d'explorer ensemble de nouvelles mécaniques de jeu.
Au cours de l'année écoulée, les modèles de génération vidéo ont réalisé de nombreuses performances en faisant tourner des jeux — mais pouvoir tourner sur l'ordinateur d'un joueur ordinaire est une autre histoire.
D'après ce tableau comparatif, en latence de bout en bout, Code World Model est d'environ 10.2 secondes, StreamRender-H3 d'environ 545 millisecondes, AgentGarten d'environ 878 millisecondes, tandis que Matrix-Game 4.0 n'est que de 112 millisecondes — du moment où l'on appuie sur une touche à la réaction de l'image, cela représente environ 1/90 du premier, 1/5 et 1/8 des deux suivants, entrant pour la première fois véritablement dans la plage du « jouable en temps réel ».
En matière de besoins en calcul, les autres solutions requièrent respectivement 1× H200 141GB, 8× GB200 et 1× H100, des cartes de datacenter, tandis que Matrix-Game 4.0 fonctionne sur une simple 1× RTX 5090 — une carte graphique grand public avec 32GB de mémoire vidéo suffit.
En ce qui concerne l'open source, Code World Model et StreamRender-H3 sont entièrement ouverts, AgentGarten est partiellement ouvert, tandis que Matrix-Game 4.0 ouvre simultanément son code, ses poids et son modèle blanc.
VI. L'open source, pour que davantage de personnes puissent « jouer » ensemble
Matrix-Game 4.0 est publié en open source dès sa sortie, offrant aux chercheurs, développeurs et créateurs une base technique réutilisable et un code de jeu modifiable. Nous encourageons également les créateurs à continuer d'adapter et d'étendre le code de jeu fourni par le projet, afin d'explorer ensemble de nouvelles mécaniques de jeu.
À l'avenir, l'équipe continuera d'itérer sur le modèle : déployer un refiner pour augmenter la résolution des images, explorer une expérience multijoueur avec un point de vue cohérent entre joueurs, offrir un contrôle d'image plus fin, et étendre la prise en charge de davantage de types de jeux et de scènes.
Passer de la « vidéo contrôlable » au « monde exécutable » : cette étape est peut-être plus importante qu'elle n'y paraît. Elle signifie que le seuil de la créativité s'abaisse et que les frontières de l'imagination s'élargissent.