Par Tingyu, depuis Ao Feisi
QbitAI | Compte officiel QbitAI
Le modèle de monde de VAST a aujourd'hui franchi une nouvelle étape.
Modèle de monde en temps réelEdenLive, est officiellement publié et open sourcé.
Selon VAST, EdenLive est le premier à réaliser, tout en générant en temps réel, à la fois une entrée de référence arbitraire, une génération dans n'importe quel style visuel et un fonctionnement continu sur de longues durées.
Concrètement, en lui fournissant une scène simplifiée ou une vidéo de référence, complétées par la première image cible et des prompts, il peut générer en continu des images détaillées dans différents styles, réalistes, anime, etc., en suivant la disposition et le mouvement de la référence.
La source de référence peut varier, le style de génération peut être spécifié, et tous ces changements peuvent être rendus pendant la génération en temps réel.
Sur une seule carte graphique grand public Nvidia RTX 5090, en conditions 720P, le modèle 5B génère à une vitessesupérieure à 24FPS, et peut générer en continu des séquences de l'ordre de la minute.
Selon VAST, de l'action de l'utilisateur à l'apparition de l'image correspondante, la latence de bout en bout de ce système est actuellement de l'ordre de la centaine de millisecondes.
Pendant que les images évoluent en continu, les règles d'interaction et l'état du monde sont maintenus par le système d'interaction amont. Le système reçoit les actions du joueur et met à jour l'état, puis EdenLive présente ces changements en temps réel en s'appuyant sur les images de référence correspondantes.
Récemment, la capacité de l'IA en matière de construction de scènes 3D et de création interactive est devenue de plus en plus intuitive.
GPT-6 Astraen est un exemple typique : elle est déjà capable de construire des maisons dans Blender, puis de les transférer dans Unreal Engine 5 pour créer des scènes dans lesquelles on peut entrer et se promener.
Lorsque l'IA est capable de construire des scènes et de concevoir des mécaniques interactives, la question suivante devient : comment donner à ces contenus une représentation visuelle détaillée et en temps réel.
Dans ce contexte, une voie technique est progressivement devenue un consensus dans le secteur :le système d'interaction maintient l'état sous-jacent et les règles d'exécution, tandis que le modèle génératif se charge du rendu visuel。
Quant à cette répartition des rôles, VAST l'avait déjà clairement définie et publiée dès début juin 6 de cette année.
L'aperçu de recherche Project Eden rendu public à l'époque avait déjà fait de« la découplage entre le maintien de l'état et le rendu visuel »son principe de conception central.
Sur le plan chronologique, ce choix de voie a précédé d'environ 3-4 mois la formation du consensus du secteur.
Aujourd'hui, EdenLive est publié comme un résultat intermédiaire de cette voie, avec les poids du modèle et le code d'inférence ouverts, ainsi que la publication simultanée d'un rapport technique et d'une démo de bout en bout.
Code :
https://github.com/VAST-AI-Research/EdenLive
Page du projet :https://vast-eden.ai/?p=edenlive
Rapport technique :
https://assets.vast-eden.ai/assets/edenlive/EdenLive-tech-report.pdf
Poids ouverts :
https://huggingface.co/VAST-AI/EdenLive
Génération en temps réel de plusieurs entrées de référence, dans différents styles artistiques
La valeur fondamentale d'EdenLive réside dans la fourniture d'un rendu en temps réel de haute qualité pour les scènes simplifiées et les contenus interactifs, tandis que la logique sous-jacente et les états continuent d'être gérés par le système d'interaction en amont.
Que peut-il faire concrètement ? Commençons par admirer une série de démos.
Aperçu interactif de jeux
Commençons par l'aperçu interactif de jeux : les scènes 2D comme 3D peuvent toutes deux être intégrées.
À ce stade, EdenLive est plus adapté aux mécaniques de jeu à interaction relativement peu fréquente, comme l'exploration de scènes ou le sokoban, permettant aux créateurs de visualiser le rendu en haute définition tout en manipulant le prototype du jeu.
[Impossible d'insérer la vidéo ici, dommage... Vous pouvez la consulter sur le compte officiel QbitAI ~]
Par exemple, dans un parcours à obstacles de lave, le personnage utilise un fusil cryogénique pour créer des points d'appui, puis avance en sautant de plateforme en plateforme.
Pour que ce type de graphismes de jeu se mette à jour en continu avec les commandes, la vitesse de génération doit d'abord suivre.
Selon les données publiées par VAST, sur une seule carte graphique grand public RTX 5090, en 720P, le modèle 5B d'EdenLive génère à une vitessesupérieure à 24 FPS, soit plus de 24 images par seconde.
Une autre démo — un jeu de combat à deux joueurs — montre concrètement la coordination entre les mouvements des personnages et des états de jeu tels que les barres de vie et le compte à rebours des tours.
Outre la vitesse de mise à jour des images, le délai entre l'appui sur une touche et l'affichage du retour influe directement sur l'expérience interactive.
Selon VAST, EdenLive présente actuellement une latence de bout en bout de l'ordre de quelques centaines de millisecondes entre l'entrée utilisateur et l'apparition de l'image correspondante.
Le système prend également en charge la génération continue à l'échelle de la minute, offrant davantage d'espace au déploiement des déambulations dans les scènes et des commandes en continu.
Aperçu de scènes et d'animations
Au-delà de l'interaction de jeu, EdenLive peut aussi servir à l'aperçu de scènes et d'animations : une fois la disposition de la scène et les mouvements de caméra déterminés, il permet de changer de style artistique.
Par exemple, donner vie au « pélican à vélo » auquel tout le monde joue chaque jour…
On n'avait jamais vu un pélican aussi vivant.
L'image générée confère non seulement une texture détaillée aux plumes et à l'environnement marin, mais simule aussi une lumière et des ombres réalistes.
Une scène de conduite dans la neige construite avec des modèles simples, une fois générée par EdenLive, présente également des textures de carrosserie, de la neige accumulée et des effets de lumière plus réalistes.
La génération de ces images est contrôlée conjointement par trois types d'entrées : l'image de référence fournit la disposition de la scène, la caméra et le mouvement, la première image cible définit l'apparence générale et le style visuel, et l'invite complète avec le style et les détails.
Ainsi, une même disposition et un même mouvement de caméra peuvent servir à générer des versions de différents styles artistiques, à des fins de comparaison et de choix pour les réalisateurs et les concepteurs d'assets.
Retouche vidéo et changement d'habillage
Des vidéos existantes peuvent également être confiées à EdenLive pour être re-rendues, en remplaçant en temps réel l'apparence des personnages, le contenu de l'image et le style général.
Par exemple, transformer une personne réelle devant un fond bleu en personnage de dessin animé, tout en conservant la pose et les couleurs des vêtements conformes à l'image de référence.
Ce type d'usage s'apparente au changement d'apparence des streamers virtuels : les mouvements de la personne réelle servent de référence pour générer l'apparence d'un autre personnage.
Autre exemple, convertir une maison filmée en réel en style d'animation dessinée à la main.
La disposition générale de la maison est préservée, tandis que le toit, les murs et les encadrements de fenêtres sont redessinés au trait, avec des couleurs et une lumière plus douces.
Augmentation de données embodied
EdenLive peut aussi servir à l'augmentation de données embodied, en convertissant des images d'opérations humaines réelles en point de vue robot, et en modifiant les objets et l'apparence dans les vidéos à la première personne.
Par exemple, dans cette vidéo, une main tient un vaporisateur et un chiffon pour nettoyer un plan de travail.
Après génération par EdenLive, les mains sont remplacées par des mains mécaniques, le chiffon passe de l'orange au jaune, mais le geste de nettoyage reste conforme à la vidéo d'origine.
Au-delà du remplacement de l'opérateur, les objets, les matériaux et les couleurs des vidéos à la première personne peuvent également être ajustés.
Par exemple, remplacer les mains humaines par des bras mécaniques métalliques, ou la poignée du chariot par un métal au fini argenté, tout en maintenant les gestes de préhension et de poussée conformes à la vidéo d'origine.
Ainsi, les vidéos d'opérations existantes peuvent donner naissance à des versions d'apparences différentes, élargissant l'échantillon de vidéos pour la recherche embodied.
Des simples animations 2D et scènes 3D aux vidéos filmées en réel et aux images d'opérations à la première personne, ces matériaux de différentes origines peuvent tous servir d'entrées de référence pour EdenLive.
Utiliser un même modèle pour recevoir plusieurs types de références, modifier la représentation visuelle en suivant une disposition et un mouvement existants, puis produire les images en temps réel et en génération continue à l'échelle de la minute : c'est là la capacité fondamentale que montrent conjointement ces démos.
À ce stade, EdenLive présente encore certains points à améliorer.
Les interactions fréquentes et intenses exigent une vitesse de génération et une restitution des mouvements plus élevées ; le maintien de l'identité lorsque plusieurs personnages apparaissent simultanément, le contrôle fin des petits objets, ainsi que la cohérence visuelle lors des générations de longue durée, laissent encore une marge d'amélioration.
Cependant, VAST a déjà mis à disposition les poids des modèles dans différentes configurations ainsi que le code d'inférence, tout en publiant le rapport technique et la démo de bout en bout mentionnée ci-dessus.
L'éditeur va également开源 simultanémentGame Prototype Turbo, un Skill « Prompt to Proxy Game ».
Les utilisateurs peuvent rapidement générer avec lui des prototypes de jeux directement jouables. Pendant l'exécution du jeu, le système d'interaction met continuellement à jour l'état et produit en conséquence des images de référence simplifiées ; EdenLive rend ensuite ces images en temps réel en contenus visuels détaillés, les restitue au joueur, formant ainsi une chaîne complète allant de la logique du jeu au rendu visuel en temps réel.
Tout le monde peut aller l'essayer ~
Analyse de la feuille de route technique et des barrières fondamentales d'EdenLive
Ensuite, voyons ce qu'est réellement la feuille de route technique qui se cache derrière EdenLive.
Sa technologie fondamentale est le« découplage de l'état du monde et du rendu visuel », c'est-à-dire traiter séparément la façon dont le monde fonctionne et la manière dont l'image est présentée.
Prenons par exemple cette démo de combat de rue :
Les déplacements, les attaques et la défense du personnage sont contrôlés par le joueur qui appuie sur les touches correspondantes ; le système d'interaction reçoit les commandes, met à jour la position et les actions du personnage, et détermine si l'attaque touche et comment les points de vie évoluent.
EdenLive, quant à lui, génère l'image à partir de ces changements, faisant apparaître à droite le simple personnage cubique de gauche sous la forme d'un personnage plus réaliste.
Le joueur voit ce retour visuel et continue d'appuyer sur les touches, et le jeu progresse ainsi selon ce cycle.
En plaçant cette répartition des rôles dans le pipeline complet, on peut encore mieux la visualiser :
Sur l'image, la scène simplifiée ou la vidéo de référence fournit la disposition et le mouvement, tandis que la première frame cible et le prompt spécifient l'apparence et les détails.
EdenLive combine ces entrées et produit en continu des images détaillées ; la logique du jeu et les mises à jour d'état sont, elles, prises en charge par le système d'interaction en amont.
Cela montre aussi le rôle d'EdenLive au sein de Project Eden.
Project Edenest un projet de recherche sur les modèles du monde mené sur le long terme par VAST, dont EdenLive est un résultat intermédiaire axé sur le rendu génératif en temps réel.
Le pipeline paraît clair, mais en pratique, il faut encore concilier plusieurs exigences :
des images suffisamment détaillées, des mouvements qui suivent la référence, une vitesse de génération compatible avec les besoins d'interaction, et la capacité de fonctionner en continu.
Cela implique la manière de collecter et d'apparier les données, ainsi que la coopération entre la 3D, la génération vidéo et l'ingénierie système.
Premièrement, l'accumulation de données。
pour que le modèle transforme un simple personnage cubique en personnage réaliste tout en conservant les mouvements correspondants par rapport à l'image de référence, il faut établir une correspondance entre la référence et l'image générée.
La disposition de la scène, le mouvement de la caméra et la position des objets doivent tous être alignés dans les données.
Selon VAST, son pipeline de données couvre des données appariées issues de multiples sources : 2D, scènes 3D simplifiées, rendus de moteur et vidéos réelles.
De la collecte des éléments, à la construction des scènes jusqu'à l'appariement des données, ces travaux soutiennent conjointement la capacité d'EdenLive à traiter différentes références et différents scénarios.
La deuxième couche d'accumulation vient de lacollaboration d'une équipe interdisciplinaire。
EdenLive implique la 3D, la génération vidéo et l'ingénierie système : il faut à la fois traiter les structures spatiales et les contraintes de mouvement, générer des effets visuels détaillés, et faire tourner le modèle en continu à une vitesse suffisamment élevée.
La configuration de l'équipe de VAST couvre également ces différents domaines.
Ces exigences doivent être coordonnées au sein d'un même système. Une fois la qualité de l'image améliorée, la vitesse d'inférence peut-elle suivre ; lorsque l'apparence change, les mouvements du personnage peuvent-ils continuer à correspondre à la référence — autant de questions que l'équipe de modèles et celle d'ingénierie doivent résoudre ensemble.
La troisième couche d'accumulation, c'estle jugement stratégique et la R&D continue。
Dans l'aperçu de recherche Project Eden précédemment rendu public, VAST avait déjà clairement proposé une conception« découplée »:
séparer l'état du monde de la génération visuelle, permettant à l'état sous-jacent de persister indépendamment du point de vue de la caméra, puis le laisser être rendu en images par le module de rendu.
Autour de cette idée, VAST a en outre proposé une architecture à trois couches : un état structuré en évolution continue, une interface de l'état vers l'observation, et un rendu neuronal génératif, qui assument respectivement la maintenance de l'état, la transformation en observations et la génération des images.
Ce choix stratégique a devancé le consensus du secteur d'environ trois à quatre mois. Cette période a également constitué, pour l'équipe, une fenêtre de R&D lui permettant de continuer à accumuler des données et à peaufiner ses modèles et son système dans la direction fixée.
Suivre la voie de la 3D, vers un monde interactif
Vu cette répartition des rôles,EdenLive prolonge toujours la ligne suivie à l'origine par VAST。
Construire un monde interactif nécessite des personnages, des objets et des assets de scènes, ainsi qu'une définition claire de la position, de l'échelle et des relations spatiales des objets. La 3D fournit une base organizable et manipulable pour ces contenus et participe à l'expression de l'état du monde.
La génération vidéo, elle, est chargée du rendu visuel détaillé, transformant les structures et mouvements existants en matériaux, jeux d'ombre et de lumière et effets dynamiques riches.
Ce n'est qu'en combinant les deux que les créateurs peuvent ajuster la scène et le gameplay tout en obtenant les images correspondantes.
Cela explique aussi pourquoi VAST s'oriente davantage vers la recherche sur les modèles de monde.
Les capacités existantes des modèles 3D, au-delà de la génération d'assets, peuvent également contribuer à la construction des données nécessaires aux modèles de monde.
Dans la présentation de la recherche Project Eden, VAST indique que l'équipe utilise ses capacités 3D existantes pour extraire des vidéos des informations structurelles telles que la profondeur, les poses de caméra et les trajectoires de mouvement géométrique ; elle utilise en parallèle un moteur de jeu pour obtenir des informations d'état et des images de rendu correspondantes.
Ces travaux prolongent l'accumulation antérieure de VAST en matière de modèles 3D et de pipelines de données vers les problèmes de structure, d'état et de correspondance visuelle que les modèles de monde doivent résoudre.
Du point de vue du flux de création, cette voie élargit progressivement ce que les utilisateurs peuvent accomplir : générer personnages et objets, construire des scènes, ajouter des règles d'interaction, puis doter le contenu en cours d'exécution de différentes expressions visuelles.
Cela correspond aussi à la vision proposée par VAST :Permettre à chacun de créer et d'expérimenter librement des mondes interactifs。
Project Eden porte cette exploration à long terme, tandis qu'EdenLive avance d'abord sur le volet du rendu génératif en temps réel.
Pour les créateurs, cela offre également une porte d'entrée plus concrète : connecter au modèle des scènes et des gameplays déjà fonctionnels, tester le rendu visuel en conditions réelles, et poursuivre les modifications de leur œuvre sur cette base.
One More Thing
Attendez, ne partez pas tout de suite.
Si cela vous intéresse, sachez que VAST recherche également de nouveaux collègues pour ces travaux de recherche.
Son programmeV·STAR programme de talents d'élite, ouvert au recrutement toute l'année, s'adresse aux jeunes talents mondiaux en algorithmique et en recherche, et se concentre sur les modèles fondamentaux de génération 3D, la compréhension tridimensionnelle, les agents et les modèles de monde.
VAST met en avant un environnement de recherche ouvert et plat, encourageant les jeunes chercheurs à proposer de nouvelles idées : les bonnes pistes techniques peuvent être rapidement validées et lancées en projet, et même les stagiaires ont l'occasion de participer à l'entraînement des modèles centraux et de s'immerger dans le développement des modèles et la pratique de l'ingénierie.
La rémunération est elle aussi vraiment alléchante~
Que ce soit en poste à temps plein ou en stage, chacun a la possibilité d'obtenir un salaire plus compétitif que celui des grandes entreprises de tête, sans plafond pour les profils exceptionnels, avec en prime des stock-options à long terme.
Si vous aussi vous souhaitez la liberté de définir les problèmes, de faire avancer un projet de zéro, de vivre de l'intérieur la croissance explosive d'une entreprise d'IA de premier plan de 1 à 100, et d'acquérir la plus précieuse expérience d'entrepreneuriat, vous pouvez tenter ce canal de candidature :
Envoyez votre CV à vstar.talent@vastai3d.com, en précisant dans l'objet : VSTAR – Nom – Date de diplôme
— Fin —
量子位 QbitAI · Signataire Toutiao
Suivez-nous pour être informé en première ligne des dernières avancées technologiques