Google DeepMind a publié son tout nouveau modèle mondial, Genie 4, en avant-première de recherche mardi. Le dernier modèle génère les mondes les plus photoréalistes et interactifs à ce jour, permettant aux utilisateurs de taper des invites en cours de simulation pour modifier la scène. Le modèle génère également de l'audio en temps réel correspondant au monde simulé, y compris de la musique, des bruits ambiants et des dialogues interactifs.
La sortie de Genie 4 intervient quelques mois après que la startup de vidéo IA Runway a publié son deuxième modèle mondial, GWM Worlds 2, un modèle jouable qui répond dynamiquement aux entrées de l'utilisateur et inclut la génération audio. Parallèlement, l'industrie des modèles mondiaux commence à se consolider. La société de Fei-Fei Li, World Labs, est rachetée par AMD, Amazon est en discussions pour acheter Decart, et Rivian vient d'acquérir Third Dimension pour intégrer des capacités de simulation en interne pour les tests de conduite autonome.
Genie 4 est le dernier geste de Google pour garder une longueur d'avance dans ce domaine encombré.
Google avait publié son prédécesseur, Genie 3, en avant-première de recherche il y a un peu plus d'un an. Outre le fait d'être bien plus photoréaliste et de comporter de l'audio, Genie 4 permet des modifications libres, comme changer la météo ou l'angle de caméra en temps réel ou ajouter de nouvelles personnes ou de nouveaux objets. Il peut maintenir une scène cohérente pendant deux minutes au maximum, le double de la limite de son prédécesseur, et offre une meilleure physique et des personnages plus réalistes.
Gemini, le modèle d'IA de Google, est également plus étroitement intégré à Genie 4, agissant comme le réalisateur qui planifie les étapes et vérifie les images pendant que Genie crée les visuels. Dans une expérience de recherche liée à Gemini Robotics, un modèle Gemini 4 Argon a décomposé des tâches en étapes que Genie 4 a simulées en temps réel. L'expérience montre une façon possible de tester des scénarios de robots en simulation avant qu'ils ne se produisent dans le monde réel.
« Ce que nous verrons de plus en plus à l'avenir, ce sont ces modèles mondiaux hybrides, où l'on combine Gemini qui écrit du code et du texte, et Genie qui les ingère en temps réel et simule la réalité à différents niveaux d'abstraction », a déclaré Tejas Kulkarni, directeur de recherche chez Google, lors d'une séance d'information.
Comme pour les autres modèles mondiaux, les cas d'usage commerciaux avancés comprennent le jeu vidéo, l'apprentissage interactif et la robotique. Un exemple spéculatif d'apprentissage interactif serait d'entrer dans un tableau d'une scène historique et de discuter avec les sujets du tableau de l'événement représenté.
Mais les « testeurs de confiance » — les personnes qui ont le premier accès aux produits de pointe de Google — signalent un usage possible nouveau : le prototypage de films.
« L'aspect temps réel devient le plus précieux dans les domaines où le maintien d'un état de flux dans l'espace de création devient incroyablement utile », a déclaré Diego Rivas, ingénieur chez Google DeepMind, lors d'une conférence de presse. « Par exemple, dans la phase d'idéation, dans la phase de storyboard — chaque fois qu'on a en quelque sorte besoin d'idéation rapide. »
Google propose également Veo, son modèle de génération vidéo par IA qui crée des clips en haute définition avec audio synchronisé intégré à partir d'invites textuelles, d'images ou de vidéos — un outil qui gagne en popularité parmi les réalisateurs.
Rivas a ajouté que les utilisateurs pourraient, à terme, s'appuyer sur Gemini Omni, un grand modèle de langage multimodal capable de générer de la vidéo à partir d'images, d'audio et de texte, pour transformer ces prototypes en actifs créatifs. Bien que ces capacités, dit-il, soient encore loin d'être au point.
Tout au long de la séance d'information, Rivas a souligné qu'il est encore tôt pour Genie 4 et qu'il n'est pas encore clair quelle sera l'expérience produit de bout en bout. L'équipe a également reconnu que Genie 4 présente encore des lacunes : les détails et les objets peuvent dériver plus une simulation dure longtemps, et ils n'ont pas encore tout à fait réussi à garantir que l'audio sera exact et que tout texte dans le monde sera lisible.
Genie 4 est disponible dès maintenant en avant-première de recherche pour les testeurs de confiance. Dans les semaines à venir, le modèle sera déployé pour les abonnés Google AI Ultra dans Project Genie, l'outil d'IA de Google pour générer des mondes interactifs à partir d'invites textuelles ou d'images, ainsi que pour les partenaires en accès anticipé de l'API Gemini et de Google AI Studio.