Points clés
- Google Deepmind a présenté Genie 4, un modèle de monde interactif qui calcule les environnements image par image en temps réel et, pour la première fois, génère directement l'audio d'ambiance et les dialogues des personnages correspondants.
- Les modèles Gemini pilotent les événements en arrière-plan, planifiant des tâches en plusieurs étapes et adaptant continuellement le monde simulé aux requêtes textuelles des utilisateurs et aux conditions changeantes.
- Genie 4 est encore un modèle de recherche expérimental présentant des limites lors des sessions plus longues et avec la physique complexe. L'accès est pour l'instant limité à des testeurs sélectionnés et s'étendra plus tard aux abonnés de Google AI Ultra.
Genie 4 est censé simuler des mondes interactifs en temps réel, avec du son et des personnages parlants. Les modèles Gemini planifient en arrière-plan ce qui se passe ensuite dans la simulation. Seuls des testeurs sélectionnés peuvent pour l'instant essayer le modèle de monde.
Google Deepmind a présenté Genie 4, le successeur de Genie 3, que l'entreprise a montré en août 2025. Le modèle de monde ne produit pas de vidéos finies mais calcule une scène image par image, en réagissant aux entrées au fur et à mesure. Les utilisateurs se déplacent dans la scène avec le clavier et pilotent les événements par des requêtes textuelles.
Selon Deepmind, Genie 4 est le premier modèle de monde en temps réel de l'entreprise qui génère directement du son. L'entreprise indique que chaque monde possède son propre audio d'ambiance, comme le vent dans les arbres. Genie 4 gère également les dialogues, avec des personnages censés se parler et réagir en temps réel aux entrées des utilisateurs ou aux événements.
Deepmind voit le plus grand gain de réalisme dans la manière dont le modèle rend les personnes. Les personnages sont censés se déplacer naturellement et réagir à leur environnement, et les utilisateurs devraient pouvoir les contrôler directement.Pub
Les modèles Gemini planifient à l'avance pour maintenir la cohérence du monde
Selon Deepmind, Genie 4 s'appuie sur les capacités du modèle vidéo Gemini Omni pour que le monde paraisse réaliste et se comporte de manière réaliste. D'autres modèles Gemini aident à planifier la simulation pour la maintenir cohérente.
Si un utilisateur modifie la météo par une requête textuelle, Gemini est censé adapter l'instruction à la scène en cours. Deepmind indique que Gemini pilote également les événements entre les entrées afin que le monde continue d'évoluer de manière cohérente.
Deepmind explique le processus avec des tâches en plusieurs étapes. Gemini 3.8 Flash observe la scène en continu, décompose un objectif en étapes et utilise les nouvelles images pour vérifier si chaque étape a fonctionné. Si le monde change ou si l'utilisateur intervient, le modèle ajuste son plan.
Deepmind teste également Gemini 4 Argon pour relier son travail sur Genie à ses recherches en robotique, Gemini Robotics. Dans une démonstration, Argon décompose la tâche de jouer aux dames en étapes. Genie 4 les reçoit sous forme d'instructions textuelles et les utilise pour simuler le robot humanoïde Apollo d'Apptronik jouant au jeu, sans aucun robot réel.Pub
Les sessions plus longues font encore trébucher le modèle
Deepmind qualifie Genie 4 de modèle précoce et expérimental. Selon l'entreprise, le monde reste cohérent lors de sessions courtes, mais des détails visuels peuvent changer et les objets ne persistent pas toujours dans des simulations plus longues ou après plusieurs modifications complexes des requêtes.
Deepmind indique qu'il recherche encore les interactions physiques complexes, le son en temps réel précis et le texte lisible.
Pour l'instant, Genie 4 n'est disponible qu'auprès de testeurs sélectionnés dans le cadre d'un aperçu de recherche. Il devrait être proposé prochainement aux abonnés de Google AI Ultra dans l'application web Project Genie, ainsi qu'aux partenaires ayant un accès anticipé à l'API Gemini et à Google AI Studio.
Google indique que toutes les vidéos et pistes audio porteront son filigrane SynthID, qui marque de manière invisible le contenu généré par l'IA.
Une fois matures, les modèles de monde pourraient servir d' environnements d'entraînement où les robots et les agents IA apprendre d'une expérience simulée plutôt que seulement à partir de données. Deepmind considère l'association de Gemini avec Genie comme un premier pas vers des modèles de monde hybrides qui combinent le raisonnement des modèles de langage et de code avec une simulation au niveau des pixels.
Source : Google