Yi Shui, provenant de Ao Fei Si
Quantum Bit | Chaîne publique QbitAI
Non, le « modèle du monde de jeu » qui consomme beaucoup de calcul, semble-t-il, a été inséré dans une RTX 5090 ?!
De plus, il porte deux étiquettes très attirantes :
Produit national, open source.
Il y a juste moment, Skywork AI sous le nom de昆仑万维 a publié Matrix-Game 4.0. On rapporte que c’est « le premier monde de jeu au monde qui peut fonctionner en temps réel sur une seule carte graphique de consommation ».
Cliquez rapidement sur le Demo ; honnêtement, la qualité d'image en 480p a vraiment de l'évolution possible. Mais regardez encore quelques secondes :
Eh, quelque chose ne va pas !!
Le modèle de monde de jeu courant auparavant, c’est que le joueur appuie sur un bouton directionnel, et ensuite le modèle se déplace vers l’avant. On peut explorer le monde et les scènes bougent, mais on ne sait pas vraiment s’il existe une application de jeu fonctionnelle en dessous.
Mais Matrix-Game 4.0 est déjà très différent.
Cible dans le jeu, d’abord la durabilité du bouclier est affectée ; lorsque le bouclier se brise, les dégâts s’appliquent. Une fois le niveau de vie réduit à zéro, le jeu prend vraiment fin.
Adresse du vidéo : https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA
Bon sang, il s’avère que ce n’est pas seulement l’image qui bouge, mais aussi la logique du jeu en arrière-plan commence à fonctionner.
Plus étrange encore, tout ce ensemble n’a pas été placé dans un cluster de calcul puissant de luxe.
Une seule RTX 5090.
Pressionz la touche, le écran réagit en moins de 0,15 seconde ; à une seconde, 60 images par seconde peuvent être affichées ; l’ensemble du système utilise environ 18,5 GiB de mémoire d’affichage à son pic.
Le mode de jeu peut même être modifié.
Faisons le Coding Agent exécuter le code du jeu, la course à l’heure originale peut rapidement se transformer en une bataille de poursuite contre les véhicules cibles.
Adresse du vidéo : https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA
Une carte, qui soutient une partie de jeu créée en temps réel par l’IA et exécutée selon les règles du code.
Comment a-t-on fait ?
Appliquer le Harness sur le modèle vidéo
Cette fois, Matrix-Game 4.0 ne suit pas les sentiers habituels.
Le jugement central donné par l’équipe est :
Plutôt que de laisser le modèle vidéo mémoriser implicitement le monde, il serait préférable que l’engine de jeu le maintienne explicitement.
La voie représentée par Google Genie a été la première à permettre aux joueurs d’entrer dans un monde où l’IA génère en temps réel les images. Où que les joueurs se trouvent, le modèle génère les images à cet endroit.
Mais le fait que le monde puisse être exploré ne signifie pas que les jeux puissent être joués.
L’écran a parfois un arbre de plus ou une fenêtre de moins, au maximum cela crée une illusion. Mais si les positions des NPCs, le nombre de points de vie du joueur et le résultat des missions dépendent également du modèle en temps réel, alors à quoi jouer ????
Donc, plus problématique que les images qui sortent de l’ordre normal, c’est en réalité la violation des règles.
D’un point de vue du groupe, la génération de vidéos à ce stade ressemble plus à une « traduction symbolique », qui est chargée de transformer les informations textuelles, des actions et des scènes en images continues.
« La peinture », c’est un domaine où les modèles vidéo sont vraiment doués.
La route habituelle du passé doit se souvenir de tout le monde, comprendre les règles du jeu, et continuer à générer des images sans cesse.
Bon sang, un modèle qui occupe plusieurs rôles en même temps, peut tenir le coup pendant un court instant, mais avec le temps, vous comprenez...
△L’image a été créée par l’IA
Donc, avec Matrix-Game 4.0, l’équipe a simplement décomposé les tâches :
L’engine de jeu est chargée de faire fonctionner le jeu correctement, tandis que le modèle vidéo est chargé de créer une bonne image.
Avec cette décomposition, l’état du monde ne se cache plus dans les pixels générés par le modèle, mais est consigné clairement par le code.
Même si la génération visuelle présente parfois des erreurs, elle ne modifie pas directement le nombre de points de vie du joueur, la propriété des objets ou l’avancement des missions.
L'équipe a résumé cette approche en « mettre un Harness sur le modèle vidéo » :
1. Le joueur exprime d’abord ses idées en langue naturelle, et l’Agent de Codage est chargé de les transformer en code de jeu.
2、Le moteur de jeu agit comme « arbitre », s’occupant du maintien de l’état du monde, de l’application des règles du jeu, et de la création d’un esquisse structurelle stable ;
3. Pour le modèle vidéo, on utilise un « artiste », qui génère en temps réel l’image finale à partir du croquis.
En d’autres termes, il faut confier les choses à déterminer au code, et laisser l’IA jouer son rôle.
Quant à l’efficacité de cette division du travail, on peut le vérifier directement avec le démo.
Au début, le moteur produisait encore une image structurée composée de blocs, de squelettes et de paysages simples.
Regarder signifie un peu « maison en bois brut ».
Mais l’endroit où se trouvent les personnages, les objets et ceux qui bougent est clairement indiqué.
Lorsque le modèle vidéo prend en charge, le château, la pelouse, les matériaux et les éclairages sont complétés en temps réel. Quelques instants avant, c’était un modèle de herbe 3D, mais en un instant, il devient une image de jeu complète.
Adresse du vidéo : https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA
La capacité de dessiner est un facteur, et les règles en bas fonctionent également vraiment.
En ce qui concerne l’épaule, une fois que le joueur la ramasse, le moteur la inscrit officiellement dans l’état du jeu. Lors d’une blessure, d’abord la durabilité de l’épaule est réduite, puis la santé du personnage est diminuée une fois que l’épaule est défectueuse ; une fois la santé à zéro, le jeu se termine.
Le modèle vidéo est chargé de représenter le processus, tandis que la manière exacte de régler les comptes est déterminée par le code.
Adresse du vidéo : https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA
Ce qui est encore plus intéressant, c’est que ces règles peuvent continuer à être modifiées.
Voulez améliorer la vitesse de tir des armes, dites-le directement en langage naturel au Coding Agent.
Dès que le code de base est modifié, la logique d’attaque réelle des armes change également.
Adresse du vidéo : https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA
Une scène de combat, qui a révélé toute la méthode complète :
L’agent de codage est responsable de la modification, le moteur est responsable du calcul, et le modèle vidéo est responsable de l’illustration.
Le monde créé par l’IA, il commence également à passer de « ressembler à un jeu » à « fonctionner vraiment selon les règles du jeu ».
Un RTX 5090, comment faire fonctionner les jeux ?
L’idée est claire, mais la prochaine étape est vraiment difficile :
Power de calcul.
Après tout, faire dessiner des jeux en temps réel avec un modèle vidéo ne semble pas être une tâche que peut supporter une carte graphique de gamme consommation.
À peu près au même moment, l'équipe de recherche d'NVIDIA a également publié StreamRender-H3, qui suit également la même approche : « le monde fonctionnant en code, les modèles vidéo générant des images ».
Cependant, la configuration de déploiement présentée officiellement est 8 GPU GB200. Chaque bloc vidéo utilise une débimisation en deux étapes, et le temps de rendu par diffusion pour chaque étape de génération en flux est de 218 ms.
C’est encore seulement la phase de diffusion et de rendu. En incluant la collecte des blocs vidéo, la décodage et la lecture, si l’on calcule en fonction d’un résumé complet formé par deux blocs vidéo, le retard end-to-end est d’environ 545 ms.
En comparant grossièrement avec ces données, le Matrix-Game 4.0 nécessite environ 112 ms entre la pressée de bouton et l’affichage de l’image, ce qui représente un cinquième de la délai entièrement transparente estimée par StreamRender-H3 ; quant à la configuration matérielle, elle est passée de 8 cartes GB200 à une seule RTX 5090.
Bien sûr, les résultats de résolution et les statistiques de latence des deux ne sont pas identiques, il est donc impossible de classer directement les produits par ordre.
Mais en termes d’implémentation technique, un carte graphique de consommation pouvant atteindre cette vitesse est déjà très impressionnante.
Et cette carte, elle ne a pas non plus soudainement surmonté tout cela.
À partir de Matrix-Game 1.0, l'équipe a continué à perfectionner le modèle du monde du jeu :
1.0 Permettre au monde créé de comprendre les actions du joueur, 2.0 résoudre le problème en temps réel, 3.0 compléter la mémoire à long terme, 3.5 continuer à maintenir la stabilité de l'espace et des personnages.
△L’image a été créée par l’IA
À la version 4.0, l'équipe a commencé à faire face à une autre difficulté :
Cette monde générée en temps réel et qui se souvient elle-même, quand peut-on la considérer comme un jeu ?
La réponse a déjà été annoncée : il suffit de confier les règles au code et à l’engine de jeu.
Mais pour que les règles et les images fonctionnent simultanément sur une RTX 5090, il ne suffit pas de réorganiser les tâches.
Il faut encore alléger la charge de toute la chaîne d’ingénierie du point de vue technique.
Premier soustrait : réduire les choses que le modèle doit deviner par lui-même
Première étape : simplifier la tâche de génération.
« Peindre du vide » ???? NON, il n’y a pas de « faire un livre relié en suivant un esquisse » qui soit plus facile.
Pour enseigner cette compétence au modèle, l’équipe a créé un ensemble de données en paire avec UE5 : d’un côté, une image de structure, de l’autre, une image détaillée correspondante.
Le premier ne se soucie pas des matériaux, de la lumière ou des ombres, mais se concentre uniquement sur la structure du scénario, la position des objets et les trajectoires de mouvement. C’est le second qui constitue l’effet final à produire.
Avec de telles pratiques, une fois que l’engine de jeu affiche la structure de l’image, le modèle vidéo peut être complété en suivant les matériaux, les reflets et les détails environnementaux.
Mais un simple esquisse ne suffit pas.
Le même bloc, est-il un bouclier, un NPC ou une barrière ? Le modèle ne le montre pas.
Ainsi, le système lit également les objets visibles et l’état en temps réel fournis par le moteur, et construit dynamiquement le Caption, indiquant ce qui se passe dans l’image et ce qui se déroule.
Adresse du vidéo : https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA
L’image structuree est chargée de montrer « où », tandis que le Caption dynamique est responsable de expliquer « quoi et ce qui se passe ».
Bon sang, les plans et les instructions sont tous entre mes mains.
Maintenant, le modèle vidéo doit simplement suivre les instructions.
Deuxième soustraction : il faut se souvenir soi-même de ce qu’il faut réduire dans le modèle
Un dessin ne suffit pas, le jeu doit continuer à avancer.
Le problème est que plus la vidéo est longue, plus il y a de scènes historiques.
Chaque génération fait que le modèle remonte tout le contenu depuis le début, ce qui n’est pas seulement laborieux, mais un élément mal dessiné en amont pourrait également être transmis tout au long.
Non, la scène clé est directement devant les yeux, n’est-ce pas agréable~
Le Matrix-Game 4.0, basé sur Wan2.2 5B Fun Control, a développé un modèle V2V. Chaque fois qu’il est généré, en plus de se référer à l’image structurelle actuelle, il fait appel à la carte de référence de la mémoire spatiale, à l’image d’ouverture utilisée pour la transition, ainsi qu’aux informations historiques récentes stockées dans le cache.
Où se trouve, comment il ressemble, comment il est connecté, tout est indiqué clairement. La probabilité qu’il dévie en dessinant est naturellement réduite.
Troisième soustraction : réduire les choses à calculer pour le modèle
Le dernier coup, il frappe directement la quantité de calcul en soi.
Modèle de diffusion générant l'image, ressemble un peu à des modifications répétées dans une plage de bruit pleine d'écran, une fois ne suffit pas, il faut en faire plusieurs autres fois, jusqu'à ce que l'image soit formée.
Le jeu ne peut pas attendre aussi longtemps.
L'équipe a réduit le processus par un moins de pas de distillation auto-régressionnelle, en limitant les modifications à 1 ou 2 étapes, et générant quatre frames à la fois.
Le calcul est rapide, mais ce n’est pas suffisant. Le GPU attend les instructions de la CPU et les données historiques doivent être transférées de manière répétée, ce qui ralentit également le processus.
Ainsi, le CUDA Graph, l’opérateur de fusion FP8, la mémoire ring KV et le codec léger ont également été intégrés :
Comptez une fois moins lorsque c’est possible, et ne transférez pas les données qui ne sont pas nécessaires.
Finalement, l’encodeur de texte, DiT et VAE sont tous présents en permanence sur une RTX 5090.
Lors de la débarrassage en une seule étape, la vitesse de génération stable du modèle vidéo atteint 83 FPS, et environ 57 FPS lors de la débarrassage en deux étapes.
Le jeu réel fonctionne à 60 FPS ; lorsque le joueur appuie sur une touche, la réponse de l’écran est visible en moins de 0,15 seconde.
En vrai, en voyant ça, je pense que les cartes single à 60 images par seconde sont vraiment incroyables, et ce n’est plus juste le chiffre « 60 ».
Le modèle du monde de jeu qui ne pouvait se dérouler qu’en utilisant un cluster de calculs auparavant, peut maintenant être exécuté directement sur la table de travail des développeurs avec une RTX 5090.
Adresse du vidéo : https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA
Plus incroyable encore, dès que les barrières matérielles ont été abaissées, Kunlun Wanwei a immédiatement réagi :
Open source.
La IA chinoise exploite l’ouverture open source dans les modèles du monde des jeux
L’action « open source », dans le modèle du monde des jeux, a une importance plus grande que ce que l’on imagine.
Chaque fois que je vois le modèle du monde être publié, j’ai un sentiment de familiarité :
Le démo est vraiment incroyable.
Montagnes enneigées, villes, déserts générés à volonté, les personnages avancent en appuyant sur les flèches directionnelles, les vidéos circulent partout sur les plateformes sociales.
Et ensuite ?
Et puis c’est fini.
Le poids du modèle ne peut pas être obtenu, le code de raisonnement est invisible, et les développeurs n’ont même pas accès à le télécharger localement. Essayez de modifier une règle ou d’échanger une scène.
En jetant un simple coup d’œil sur l’industrie, on constate que la plupart des participants présentent des produits, des API ou des démonstrations de recherche. Seuls quelques-uns confient réellement les modèles et le code aux développeurs.
Donc Matrix-Game 4.0, cette version open source, vise à ne pas causer de problèmes de santé (manuel sourire animal).
L’important est que ce n’est pas un coup de tête soudain aujourd’hui. Cette entreprise suit depuis le lancement de Matrix-Game 1.0 une stratégie open source.
En y repensant, le fait de choisir de déployer la technologie si tôt semble avoir une raison très importante :
Le circuit du modèle mondial devient de plus en plus animé, mais la ligne technique n’a pas encore atteint une convergence.
△L’image a été créée par l’IA
Quelqu’un continue à parier sur la génération de vidéos, quelqu’un se concentre sur l’espace 3D, et d’autres réintroduisent les moteurs de jeu.
Un modèle du monde à voir, la solution de base est en réalité devenu de plus en plus différent.
La seule chose qui devient progressivement claire est que générer un vidéo par la lumière ne suffit plus ; le monde doit pouvoir y entrer, interagir, et idéalement fonctionner de manière continue.
Quant à la manière de franchir cette étape, toutes les équipes continuent de tester sans repère.
C’est précisément parce qu’il n’y a pas de réponse standard que l’open source trouve son utilité.
Lorsque le modèle est remis aux développeurs, on peut le reproduire, tester dans d’autres scénarios pour voir s’il fonctionne bien, et imaginer de nouvelles façons de l’utiliser, en l’essayant directement.
Si c’est bon, la communauté donnera naturellement une réponse.
Et cette méthode de jeu, en réalité, nous la connaissons déjà très bien.
Les modèles de langage grands sont ouverts au public, et les multi-modalités continuent d’être ouvertes. Aujourd’hui, la force open source chinoise, représentée par Kunlun Wavenet, s’est étendue aux modèles du monde des jeux.
Bon sang, un nouveau circuit vient de se mettre à fonctionner, la recette habituelle est déjà servie.
Bien sûr, Matrix-Game 4.0 n’est encore qu’un début.
La qualité d’image à 480p ne peut vraiment pas être considérée comme très fine ; il reste encore un chemin à parcourir entre un monde AI plus stable, joué pendant plus de temps et par plus de personnes.
Mais le chemin n’a pas encore été déterminé, et la réponse ne peut bien sûr ne consister qu’en demandant à quelques entreprises d’écrire derrière leur porte closes.
Après Google Genie, la solution proposée par les joueurs locaux est la suivante :
Le code est responsable de faire respecter les règles dans le monde, l’IA est responsable de dessiner le monde.
Un RTX 5090 suffit pour cela, et le modèle ainsi que le code ont été fournis ensemble.
Quel genre de jeux les développeurs pourront-ils encore jouer par la suite ?
On ne peut que dire :
Matrix-Game 4.0 grand spectacle, si vous aimez, venez.
【Portail pour le grand théâtre】：
https://github.com/SkyworkAI/Matrix-Game
https://huggingface.co/Skywork/Matrix-Game-4.0
https://matrix-game-v4-0.github.io/page/