Yunzhong, depuis Aufeisi
Quantum Bit | Compte officiel QbitAI
Un modèle de monde en temps réel issu d'un studio virtuel chinois a remporté un prix sur la scène de NVIDIA.
Le 15 octobre, la mi-parcours du NVIDIA Startup Showcase 2026 s'est tenue au lac Jinji de Suzhou. Dawa Technology, originaire de Chongqing, a remporté avec son produit de modèle de monde en temps réelScenes AIle prix« Prix d'Excellence de l'entreprise à la mi-parcours du Showcase »。
Cette édition de la compétition a compté 11 étapes régionales dans tout le pays, avec plus de 580 entreprises technologiques inscrites, et finalement 30 membres du programme NVIDIA Inception (accélération des startups) ont accédé à la mi-parcours du Showcase.
Contrairement à la plupart des modèles vidéo qui rivalisent sur la ressemblance de « l'image suivante », Scenes AI emprunte une autre voie :
elle ne prédit pas l'image suivante, maismaintient un état du monde en fonctionnement continu— les scènes, les personnages, les caméras, l'éclairage, les objets et la physique constituent chacun un ensemble de variables lisibles et modifiables individuellement.
À chaque changement dans le monde, le modèle n'a pas besoin de redessiner toute la séquence d'images, mais seulement de mettre à jour la partie de l'état qui a changé, puis de réécrire le résultat dans le monde, pour que l'instant suivant continue d'évoluer sur cette base.
La question à laquelle il doit répondre change donc aussi : ce n'est plus « à quoi ressemblera l'image suivante », maissi l'on modifie une variable du monde, que se passera-t-il ensuite dans le monde ?
Plus crucial encore : ses entrées ne proviennent pas d'un moteur de jeu ou d'images générées par proxy, maisd'un espace réel capturé par une caméra ordinaire。
Pour reprendre les mots de Dawa elle-même :Une vidéo est un résultat. Un monde est un processus. La vidéo est un résultat, le monde est un processus.
Regardons d'abord le résultat : transformer un monde entier, tout en ne modifiant qu'un seul mur
Commençons par la dernière version de la démo.
En haut à gauche se trouve la pièce réelle capturée par la caméra à cet instant : un mur blanc, un fond vert, une chaise en fer forgé, un ours en peluche dans le coin du mur, et une personne au centre qui tient la visière de sa casquette.
La grande image est la sortie du modèle au même moment : la pièce est devenue une prairie d'été de style dessiné à la main, la personne est devenue une jeune fille animée portant une casquette de baseball jaune, avec des mouvements synchronisés.
En regardant de près, on constate que seule l'apparence a changé. La chaise est toujours derrière la jeune fille, le petit ours est toujours assis dans son « coin de mur » d'origine, la position et la perspective de l'armoire sombre à droite n'ont pas bougé, et on devine même vaguement sur l'herbe la ligne de pli où se rejoignent les deux murs.
Premier test : le re-rendu global ne doit pas altérer la structure.
Dans cette image, la seule variable réécrite est « le style visuel ».
Les mouvements du personnage, la position des meubles, les relations d'occlusion et la perspective spatiale sont tous verrouillés comme conditions de préservation. Le modèle doit d'abord reconnaître ce que sont la personne, la chaise, la poupée et l'armoire, puis les maintenir en place tout en changeant le style de toute la pièce, et cela doit tenir à chaque image.
Deuxième test : la modification locale, tout en gardant en mémoire.
Dans la même scène, un enfant écrit « DW未来 » sur un mur, puis prend une peluche dans ses bras et sort du cadre ; le garçon se lève, des arbres poussent dans la pièce, un feu de camp s'allume au sol ; ensuite, il lève la main pour contrôler la météo : il neige d'abord dans la pièce, puis il se met à pleuvoir.
Au fil de cette série d'événements, des gens vont et viennent, de nouvelles choses poussent dans la scène, la météo change plusieurs fois, mais les quatre caractères sur le mur restent toujours là, avec leur position et leurs traits inchangés.
Ce qui est testé ici, c'est si l'état du monde est correctement réécrit et maintenu de façon persistante.
Pour un modèle de génération image par image, plus il y a de changements dans l'image, plus les détails laissés précédemment risquent d'être « effacés » — chaque redessin peut les altérer subrepticement ; dans Scenes AI, en revanche, « il y a des caractères sur le mur » fait partie de l'état du monde dès l'instant où ils sont écrits. Quoi qu'il arrive ensuite, tant qu'aucun événement ne le modifie, cela y demeure.
La démonstration initiale du mois 9 reposait sur la même logique : après que le yéti a brisé le sol et s'est enfui, le trou dans le sol est resté en place ; la chaise en fer forgé a été réécrite deux fois en trône de fer à tête de loup, et le présentateur a pu se rasseoir à sa place ; l'ourlet du rideau a pris feu, mais la peluche et le pot de fleurs voisins n'ont pas été touchés.
Tout le processus de génération tourne localement sur une carte graphique RTX, avec le taux de rafraîchissement affiché en temps réel dans le coin supérieur droit de l'image.
Une voie différente : passer de « redessiner l'image suivante » à « mettre à jour l'état du monde »
Derrière cette démo se cache un jugement fondamental de Dawa sur les modèles de monde :
La génération vidéo est déjà assez puissante, mais le monde n'a pas encore commencé à fonctionner.
Le livrable de la génération vidéo classique est « un résultat » : on donne un prompt, on génère une belle vidéo, et puis c'est tout.
Même en réalisant une synthèse continue image par image, l'attention reste portée sur « à quoi ressemblera l'image suivante » ; les erreurs d'identité, de géométrie, d'éclairage et de physique s'accumulent petit à petit avec le temps.
La définition qu'en donne Dawu pour un modèle de monde est différente :après avoir modifié une variable d'état, pourquoi le monde change et comment il va évoluer.
Prenons l'exemple le plus simple : on entre la phrase « transformer l'éclairage en coucher de soleil » :
- Modèle vidéo traditionnel : la vidéo est régénérée entièrement, et la scène, les personnages, la caméra et les objets peuvent tous dériver ;
- Scenes AI : la scène, les personnages, la caméra et les objets sont figés comme conditions de conservation, seule la variable « éclairage » change, puis les nouvelles images sont générées à partir du nouvel état du monde.
Dawu résume cette approche en une phrase : modifier une variable, préserver le monde entier.
Sur le plan du calcul, cela revient à passer de « redessiner l'image suivante » à« mettre à jour l'incrément d'état ΔS »— seuls les éléments modifiés sont mis à jour, le reste de l'état du monde demeure stable, interrogeable et prévisible.
Selon cette définition, un monde en fonctionnement continu se décompose en cinq parties :
Monde persistant = Mémoire du monde + Physique neuronale + Diffusion clairsemée + Rendu neuronal + Éclairage par IA
soit la mémoire du monde, la physique neuronale, la diffusion creuse, le rendu neuronal et l'éclairage IA.
Aux yeux de Dawu, pour passer de la génération d'une vidéo à l'exécution d'un monde interactif, cinq obstacles doivent être franchis simultanément :
la mémoire inter-images, le contrôle local, la physique et la causalité, l'efficacité du calcul en temps réel, ainsi que des données capables d'expliquer « pourquoi le monde change ainsi ».
Selon leurs propres mots,la difficulté ne consiste pas à construire un modèle plus grand, mais à faire en sorte que l'état, le contrôle, la physique et la puissance de calcul soient valides en même temps.
Le contrôle précis et le rendu en temps réel dont il sera question plus loin sont précisément les réponses apportées par cette voie aux deux obstacles que sont le « contrôle » et la « puissance de calcul ».
Architecture technique : couche de contrôle lourde, couche de génération légère
Pour transformer cette voie en système d'ingénierie, l'approche de Dawu peut se résumer en une phrase :couche de contrôle lourde, couche de génération légère.
Scenes AI ne confie pas tous les problèmes à un grand modèle qui redessine image par image, mais ajoute entre « l'intention créative » et « la génération d'images » une couche de contrôle centrée sur l'état du monde, que Dawu appellela couche de contrôle de la génération vidéo。
- couche de contrôle: décomposer la vidéo continue en facteurs d'état interrogeables, actualisables et contraints — scène et espace, personnages et actions, caméra et cadrage, éclairage et matériaux, éléments et accessoires, physique et temps ; elle est chargée de planifier les actions, de maintenir l'état et de simuler les résultats.
- couche de rendu: elle reçoit les conditions transmises par la couche de contrôle, génère uniquement les parties qui doivent changer, puis les recompose dans l'image.
Une chaîne d'exécution typique est :
état du monde → action ou événement de contact → mise à jour de l'état → génération et composition locales → écriture du résultat en retour.
Reprenons la démo « DW未来 » mentionnée plus haut :
- lorsque l'enfant écrit sur le mur, la couche événementielle identifie le geste d'écriture et le point de contact, c'est-à-dire le mur ;
- La couche de contrôle met ainsi à jour l'état du monde, en enregistrant « il y a des écritures sur le mur » sur l'objet mur ;
- ensuite, des arbres poussent dans la scène, un feu de camp s'allume, il neige puis il pleut ; la couche de contrôle ne met à jour que les éléments de scène concernés et les variables météorologiques, la couche de rendu ne génère que les arbres, les flammes, les flocons de neige et les gouttes de pluie ainsi que les jeux d'ombre et de lumière qu'ils entraînent, tandis que le mur et les écritures réutilisent directement les représentations existentes ;
- les processus météorologiques comme la pluie et la neige vont et viennent, ce sont des changements à court terme ; les écritures sur le mur, elles, demeurent comme un état persistant dans le monde, pour être lues par les plans et interactions ultérieurs.
Il existe ici une distinction essentielle :quels changements sont « transitoires » et lesquels sont « persistants »。
les premiers peuvent être traités par la couche de rendu puis abandonnés, les seconds doivent entrer dans l'état du monde. Dans la démo, « le trou est toujours là » et « les écritures sont toujours là » sont les manifestations extérieures de ce mécanisme.
À l'échelle du secteur, « séparer la maintenance de l'état et le rendu visuel » devient progressivement un consensus parmi les modèles de monde en temps réel ; le désaccord porte surl'origine de l'état。
Une approche consiste à faire écrire explicitement les règles et l'état par un moteur amont ou par programmation, le modèle effectuant le rendu en prenant une image de référence comme interface, ce qui convient aux jeux et prototypes aux règles bien définies ;
Scenes AI s'adresse aux espaces filmés en conditions réelles et aux diffusions en direct : l'état du monde doit être extrait par le modèle à partir des images de la caméra, puis continuellement maintenu, simulé et réécrit.
Contrôle précis : modifier une seule variable, tout le reste reste inchangé
Le contrôle précis se situe dans la couche de contrôle, dont le module central estLatent Stage。
Premièrement, la découplage des variables.
Latent Stage décompose, dans l'espace latent, la scène, les personnages, la caméra, l'éclairage, les costumes, les accessoires et la physique en « scènes » (stages) indépendants, qui peuvent évoluer séparément ou être soumis à des contraintes conjointes.
Chaque édition comporte un « ensemble de modification » et un « ensemble de conservation » clairement définis : lors d'une modification de l'éclairage, la scène, les personnages et la position de la caméra sont verrouillés ; lors d'un changement de costume, l'identité des personnages et leurs mouvements continuent de contraindre la génération.
Dans la capture d'écran, « tout le style visuel change, mais les meubles restent en place », c'est le résultat d'une séparation suffisamment nette entre l'ensemble de modification et l'ensemble de conservation.
Deuxièmement, la matrice vidéo non linéaire.
La méthode de fusion de matrices de perspectives non linéaires proposée par Dawa transforme l'image d'un « temps linéaire » en une « matrice éditable » : les personnages, l'environnement, la caméra, l'éclairage, les objets et le mouvement sont décomposés en éléments visuels recombinables, ce qui permet à la couche de contrôle de comprendre les mouvements de caméra et de fusionner contenu réel et contenu généré.
L'article de démonstration correspondant, intitulé « NVD : Non-Linear View Matrix Fusion for 2D Video Using Multimodal Foundation Models », a été accepté par ACM UbiComp / ISWC 2026 et a été présenté sur place le 13 octobre au Centre international de congrès de Shanghai. Cette recherche a été menée conjointement par l'institut de recherche AIGC de Dawa, l'Université polytechnique de Hong Kong, l'Université de l'Illinois à Urbana-Champaign et l'Université de Newcastle.
Troisièmement, la mémoire du monde.
World Memory met en cache de manière persistante des fragments d'états historiques, fournissant un contexte consultable et actualisable pour les générations ultérieures.
Lorsque la caméra s'éloigne puis revient, le modèle lit l'enregistrement d'état de cette zone au lieu de réimaginer un mur.
Dawa considère la mémoire à long terme comme le défi le plus crucial à l'heure actuelle : l'identité, l'espace, la physique et l'état de l'histoire doivent tous rester cohérents à travers le temps.
Sans mémoire causale, empiler des GPU ne résoudra jamais le problème.
Quatrièmement, les contraintes physiques.
Neural Physics couvre les corps rigides, les tissus, les fluides et les particules, organise les conditions de génération autour des collisions et de la gravité, et détermine jusqu'où le feu doit brûler et comment le tissu doit être repoussé ; Neural Renderer convertit ensuite la géométrie, les matériaux et l'éclairage en image.
L'état physique devient ainsi une référence commune pour la génération, l'entraînement et l'évaluation, au lieu de considérer la vidéo elle-même comme la réponse.
Dans les tests d'édition continue, Scenes AI a atteint untaux de réussite des éditions ciblées de 98.2%，et un taux de préservation de l'identité des personnages de 93.3%。
Rendu en temps réel : réserver la puissance de calcul au monde en train de changer
La couche de rendu est assurée par le modèle de génération en temps réelLiveStage. Le problème qu'il doit résoudre est très concret :
faire en sorte que l'image suive, de manière continue et à faible latence, une personne réelle, dans le budget de puissance de calcul et de mémoire d'une carte graphique grand public.
Premièrement, la diffusion autorégressive parcimonieuse.
L'autorégression est chargée de l'évolution continue dans le temps, tandis que le calcul parcimonieux limite la portée de la mise à jour à chaque étape, ce qui signifie que le modèle prédit un incrément d'état plutôt qu'une image entièrement nouvelle.
Sur la base de l'analyse des données de plus de 300 projets de tournage commerciaux réels, Dawa a constaté que, dans une scène typique, les zones réellement modifiées d'une image ne représentent qu'une fraction de celle-ci.10%—20%。
Ainsi, les zones stables comme les murs et les sols sont directement réutilisées via le cache latent (Latent Cache), et la puissance de calcul est concentrée sur les personnages, les visages, les mains, les tissus, la fumée, les ombres et les zones d'interaction.
Deuxièmement, la micro-diffusion parcimonieuse causalée.
La couche de rendu reçoit de la couche de contrôle un ensemble de conditions, comprenant le type d'événement, la position, la vitesse, l'intensité, l'identité de l'objet, le matériau et l'historique local, et n'effectue qu'un échantillonnage en quelques étapes sur les zones modifiées, avant de recomposer les résultats locaux dans l'image du monde persistante.
« Caualisé » signifie que chaque étape ne dépend que de l’historique déjà survenu, ce qui convient à la sortie en streaming ;
« micro-diffusion » signifie que chaque traitement ne porte que sur une petite zone locale, et non sur l’image entière.
Troisièmement, l’activation creuse.
Le modèle compte 34B de paramètres au total et n’active qu’environ 4B à chaque étape, soit un taux d’activation d’environ 11,8 %.
Les mises à jour locales dans l’espace réduisent « combien il faut calculer », tandis que l’activation creuse à l’intérieur du modèle contrôle « combien de paramètres sont utilisés à chaque calcul » ; l’ensemble constitue la caractéristique «la capacité d’un grand modèle, un chemin de calcul en temps réel ».
Le résultat de la combinaison des trois : par rapport aux solutions traditionnelles de diffusion vidéo, laconsommation GPU est réduite de 40 %—60 % et la vitesse d'inférence est multipliée par 3—5.。
Lorsque l'image nécessite un basculement global, comme le passage de toute une pièce à une prairie sur la capture d'écran, avec une zone de changement bien supérieure à 20 %, le système alloue dynamiquement les calculs selon l'étendue des changements ; l'édition locale et la conversion de scène complète partagent le même pipeline.
Au final, sur une seule carte graphique grand public NVIDIA GeForce RTX, Scenes AI réalise une sortie temps réel en 720P à 25 images par seconde.
Puissance de calcul sous-jacente : construit nativement sur la pile technologique NVIDIA.
La coopération technique entre Dawa et NVIDIA a commencé en 2018, année où Dawa a acquis son premier NVIDIA DGX-1.
Aujourd'hui, Scenes AI utilise CUDA pour l'accélération de l'entraînement et de l'inférence, TensorRT pour l'optimisation de l'inférence, et NVENC pour la prise en charge de l'encodage vidéo en temps réel.
Les mises à jour éparses réduisent les calculs inutiles, le Latent Cache favorise la réutilisation de la mémoire vidéo, et l'architecture en couches se prête naturellement à un déploiement en couches ; ce mécanisme est lui-même conçu autour du calcul parallèle et de la réutilisation des calculs sur GPU.
Barrière centrale : non pas un Video Dataset, mais un State Dataset.
La feuille de route étant clarifiée, la vraie difficulté est de l'entraîner. Les acquis de Dawa peuvent être décomposés en trois niveaux.
Premier niveau : les données d'état.
Pour apprendre « comment le monde change », les vidéos seules ne suffisent pas.
La plupart des vidéos sur Internet sont des produits finaux montés ; la façon dont les caméras se déplacent, comment les lumières sont réglées, quand les accessoires sont saisis — ces informations de processus ont presque toutes été coupées au montage, et les pixels eux-mêmes n'expliquent pas pourquoi le monde change ainsi.
Selon Dawa :ce n'est pas un Video Dataset, mais un State Dataset.
Dawa exploite à Yongchuan, à Chongqing, un studio cinématographique technologique entièrement numérique couvrant l'ensemble du processus, d'une superficie de 8.4万平方米.
Ces 5 dernières années, l'équipe a collecté, annoté et organisé des données en continu à partir de plus de 300 projets commerciaux réels, accumulant environ180 TB de données structurées sur l'état du monde, couvrant six dimensions clés : trajectoires de caméra, trajectoires de mouvement, état des objets, état d'éclairage, état physique et état narratif.
Une seule scène fait l'objet de plus de 300 annotations structurées selon différentes dimensions, permettant d'aligner les plans, l'optique, l'espace, le jeu d'acteur et les mouvements sur une même ligne temporelle.
Le plateau de tournage concentre aussi naturellement les échantillons atypiques les plus difficiles pour la génération en temps réel : manches larges et jupes qui se déforment avec le mouvement, contacts répétés entre les mains et les accessoires, occlusions mutuelles entre plusieurs personnages, caméra en mouvement continu pendant le jeu d'acteur, changements d'éclairage agissant simultanément sur les personnages et l'environnement.
En plus des données réelles, Dawa utilise NVIDIA Omniverse et PhysX pour construire des scènes de simulation et générer en série des données annotées avec des états physiques précis ; il utilise NVIDIA Cosmos sur H200 pour générer des données « orientées processus » comme la fonte de glaces, la croissance des arbres ou la fonte de la neige.
Les trois types de données ont des rôles bien définis :les prises de vue réelles fournissent la distribution, la simulation fournit des états précis, et les données génératives complètent la couverture.
Deuxième niveau : la trajectoire d'entraînement.
Ce que Dawa entraîne n'est pas un « générateur de vidéos », mais un système mondial en évolution continue, divisé en cinq phases :
- Pré-entraînement à la compréhension du monde : apprentissage auto-supervisé sur 180 TB de données cinématographiques pour établir un espace latent unifié ;
- Entraînement à la prédiction spatio-temporelle : prédiction du futur, complétion vidéo, reconstruction d'état, pour apprendre l'évolution temporelle plutôt que le simple assemblage de vidéos consécutives ;
- Entraînement à des capacités spécialisées : micro-diffusion locale éparses, matrice vidéo non linéaire, rendu neuronal et physique neuronale, chaque module se spécialisant séparément ;
- Optimisation conjointe : entraînement multitâche conjoint et apprentissage par curriculum, optimisation de bout en bout dans un espace latent partagé ;
- Apprentissage par renforcement piloté par des agents : collaboration multi-agents — réalisateur, caméra, éclairage, animation — pour optimiser en continu la qualité des plans et la cohérence des scènes.
Troisième niveau : la boucle de production.
Dawa produit elle-même de vrais films et de vraies courtes séries. Les modifications des clients, les retours issus des interactions et les cas d'erreurs du modèle reviennent alimenter le tri des données, les collectes complémentaires et l'entraînement du cycle suivant ; autrement dit, le modèle est testé sur le plateau, et le plateau nourrit en retour le modèle.
« Nous tournons chaque jour de vrais films et de vraies courtes séries ; chaque réglage d'éclairage, chaque mouvement de caméra apprend au modèle comment ce monde fonctionne », a déclaré Chen Liang, cofondateur de Dawa Technology. « La prochaine bataille des modèles mondiaux appartiendra aux équipes qui possèdent des processus du monde réel. »
De « générer un résultat » à « faire fonctionner un monde »
Le modèle mondial ne devrait pas rester un concept flottant ; appliquée concrètement, cette approche correspond à plusieurs types de scénarios clairement définis :
- Cinéma et courtes séries: les réalisateurs ajustent et transforment davantage d'idées créatives dans des scènes contrôlées, convertissant chaque inspiration instantanément en paramètres de météo, d'éclairage, de costumes et d'environnement ;
- Direct en direct et e-commerce: transformer les « studios en cases » en véritables « studios en scènes », où l'espace dans lequel se trouve le présentateur bascule en temps réel selon les produits et les sujets : vendre des bottes de neige dans la neige, des chaussures de randonnée en haute montagne ;
- Tourisme culturel, jeux vidéo et présentations interactives: le contenu n'est plus un objet regardé de manière unidirectionnelle, les utilisateurs peuvent entrer directement dans l'espace réel, y interagir, le modifier et le prolonger.
Elles partagent les mêmes exigences : les modifications doivent être contrôlables, les résultats doivent être immédiats et les coûts doivent être estimables.
Une carte graphique grand public et une machine locale suffisent pour l'exécuter, sans dépendre de la puissance de calcul du cloud : c'est ce qui permet de passer d'une démonstration de laboratoire à un environnement réel plus proche d'un déploiement pratique.
« La génération vidéo est déjà assez puissante, mais le monde n'a pas encore commencé à fonctionner. Une vidéo peut se terminer, un monde doit continuer de fonctionner. » Lors du roadshow de la mi-parcours, Li Zongxing, Chief Product Officer de Dawa Technology, a ainsi résumé la philosophie de Scenes AI.
« NVIDIA fournit une base de calcul solide pour les modèles de monde en temps réel. » a-t-il déclaré. « Nous espérons, avec l'écosystème NVIDIA, faire passer les modèles de monde du laboratoire à la production réelle, et permettre à chaque créateur de construire, modifier et pénétrer en temps réel, avec une seule carte graphique, un monde en fonctionnement continu. »
△ Photo du CPO de Dawa Technology, Li Zongxing, lors du roadshow de la mi-parcours
En regardant le parcours de Dawa ces dernières années, les pièces maîtresses du puzzle sont déjà en place.
Les données sont là : 8.4 dix mille mètres carrés de plateaux de tournage, plus de 300 projets réels, 180 To de données d'état du monde, et cela continue de s'accumuler ;
Le modèle fonctionne : le modèle de monde 34B s'exécute en temps réel sur une carte graphique grand public, avec contrôle précis et rendu en temps réel simultanés ;
La reconnaissance est arrivée : entreprise remarquable à l'étape de Shenzhen en août, présentation d'un article à UbiComp en octobre, et le même mois, prix de l'entreprise d'excellence de la mi-parcours décerné par NVIDIA.
Alors que l'attention du secteur commence à passer de « générer une vidéo » à « faire fonctionner un monde », cette approche née d'un plateau de tournage est de plus en plus remarquée.
Les vidéos se terminent, les mondes non. Pour Scenes AI, ce monde ne fait que commencer à fonctionner.
*Cet article est republié par QbitAI avec autorisation ; les opinions exprimées appartiennent uniquement à l'auteur original.