Google DeepMind a publié Genie 4 en tant qu’aperçu de recherche pour des testeurs de confiance. Le modèle de monde Genie 4 génère des mondes explorable à partir d’invites textuelles et d’images en temps réel. Il génère également le paysage sonore : bruit ambiant, musique et dialogue des personnages. Les utilisateurs se déplacent avec les commandes clavier et pilotent les événements avec des invites en langage naturel. Le changement le plus important est architectural. Un modèle Gemini s’exécute désormais à l’intérieur de la boucle de simulation en tant que planificateur. Ce schéma est important pour quiconque construit des environnements d’entraînement pour agents ou robots.
TL;DR
- Fonctionne sur : hébergé par Google uniquement (application web Project Genie, accès anticipé à l’API Gemini).
- Performance : mondes photoréalistes avec audio natif et pilotage textuel en direct.
- Meilleur : cohérence de scène jusqu’à 2 minutes, le double de Genie 3, selon le point de presse de TechCrunch.
- Pire : les sessions durent quelques minutes, et les objets dérivent après des modifications répétées des invites.
Qu’est-ce que Genie 4 ?
Genie 4 est un modèle de monde de Google DeepMind qui simule des environnements interactifs image par image. Ce n’est pas un générateur de clips vidéo. Chaque image répond aux entrées de l’utilisateur dès leur arrivée.
DeepMind indique que le modèle est nativement multimodal. L’audio, la musique et les dialogues sont générés ensemble avec les visuels. C’est le premier modèle de monde en temps réel de DeepMind à générer de l’audio nativement.
Il succède à Genie 3, annoncé en août 2025. Genie 3 fonctionnait en 720p et 24 images par seconde, avec une mémoire visuelle remontant jusqu’à 1 minute.
Comment Genie 4 utilise-t-il Gemini ?
Genie 4 emprunte à 2 parties de la famille Gemini. Gemini Omni structure l’apparence et le comportement de chaque monde. D’autres modèles Gemini gèrent le raisonnement qui maintient la cohérence de la simulation.
La boucle d’exécution fonctionne ainsi :
- Interpréter : Lorsque vous saisissez une invite, Gemini l'adapte pour l'ajuster à la scène en cours.
- Plan : Gemini 3.8 Flash décompose un objectif en une séquence d'étapes.
- Vérifier : Il examine les trames entrantes pour confirmer que chaque étape a réussi.
- Adapter : Si le monde change ou si vous intervenez, le plan est révisé.
Entre les saisies de l'utilisateur, Gemini oriente également la scène afin que le monde continue de progresser. L'équipe de DeepMind présente cela comme un premier pas vers modèles de monde hybrides. Dans cette conception, un modèle de langage gère la structure et le récit, tandis que Genie assure le rendu des pixels et du son.
Que peut-on faire à l'intérieur d'un monde Genie 4 ?
- Pilotez avec du texte: Vous pouvez changer la météo, déplacer la caméra ou ajouter une nouvelle personne ou un nouvel objet en cours de session.
- Simuler la physique et les personnes: DeepMind cite l'aérodynamique et les collisions. Elle qualifie le mouvement humain de plus grande avancée, avec des personnages qui réagissent à leur environnement.
- Écoutez le monde: Chaque monde intègre de l'audio ambiant. Les personnages peuvent également tenir des conversations qui réagissent à vos entrées en temps réel.
- Tâches du robot de test: Dans une démonstration de recherche, Gemini 4 Argon diviser une tâche de jeu de dames en étapes. Genie 4 a reçu chaque étape sous forme de légende textuelle et a simulé le robot humanoïde Apollo d'Apptronik jouant au jeu.
Comment Genie 4 se compare-t-il aux autres modèles mondiaux ?
DeepMind n'a publié aucun tableau de référence pour Genie 4. La comparaison ci-dessous n'utilise que les spécifications divulguées par la source propre de chaque projet.
| Caractéristique | Genie 4 | Genie 3 | Runway GWM Worlds 2 | Skywork Matrix-Game 3.0 |
|---|---|---|---|---|
| Publié | 27 oct. 2026 | 5 août 2025 | 3 sep. 2026 | 27 mars 2026 |
| Paramètres | Non divulgué | Non divulgué | Non divulgué | 5B (plus variante MoE 2x14B) |
| Résolution / FPS | Non divulgué | 720p / 24 fps | 720p / 24 fps | 720p / jusqu'à 40 fps |
| Audio natif | Oui, dialogues inclus | Non communiqué | Oui, 48 kHz, parole incluse | Non communiqué |
| Contrôle textuel en cours de session | Oui, via Gemini | Oui, événements du monde pilotables par prompt | Oui, actions textuelles horodatées | Actions clavier et souris |
| Planificateur LLM dans la boucle | Gemini 3.8 Flash | Non | Non (harnais externe optionnel) | Non |
| Cohérence | Quelques minutes ; 2 min selon TechCrunch | Quelques minutes ; 1 min de mémoire visuelle | Pas de durée prédéfinie ; mémoire imparfaite | Mémoire d'une minute |
| Matériel | Hébergé par Google, non divulgué | Hébergé par Google, non divulgué | Hébergé par Runway, non divulgué | 8 GPU pour le DiT plus 1 pour le VAE |
| Accès / licence | Testeurs de confiance ; AI Ultra et API bientôt | Project Genie (AI Ultra) | Aperçu de recherche, formulaire de contact | MIT, poids ouverts |
Qui peut utiliser Genie 4, et quand ?
Genie 4 est disponible dès aujourd'hui pour les testeurs de confiance. Selon DeepMind, il devrait prochainement être accessible aux abonnés de Google AI Ultra dans Project Genie. Les partenaires en accès anticipé de l'API Gemini et de Google AI Studio viendront ensuite.
Toutes les vidéos et audios de Genie 4 porteront des filigranes SynthID . DeepMind indique avoir mené des évaluations internes de sécurité avant l'aperçu.
Les testeurs à ce jour proviennent des industries créatives, du journalisme, de l'éducation, du jeu vidéo et de l'ingénierie.
Les usages rapportés incluent :
- Des cinéastes réalisant plusieurs « prises » en direct pour la prévisualisation.
- Des photojournalistes transformant une seule photo d'archives en simulation ancrée dans le réel.
- Des développeurs de jeux testant des styles et des mécaniques avant d'écrire le code du moteur.
- Des partenaires d'entreprise générant des scénarios de simulation de zéro à un.
Quelles sont les limites de Genie 4 ?
DeepMind énumère plusieurs problèmes non résolus sur la page du modèle Genie 4:
- Les détails visuels et la permanence des objets se dégradent lors de sessions plus longues, après des modifications complexes du prompt, ou pendant la navigation.
- L'interaction est limitée à quelques minutes, et non à des sessions prolongées.
- Les lieux du monde réel ne sont pas simulés avec une précision parfaite.
- Le texte lisible n'apparaît généralement que lorsqu'il figure dans la description d'entrée.
- La précision audio en temps réel et les interactions multi-agents restent non résolues.
Points clés à retenir
- Genie 4 génère le monde, l'audio ambiant et les dialogues ensemble, en temps réel.
- Gemini 3.8 Flash planifie, vérifie les images et replanifie à l'intérieur de la boucle.
- Aucun paramètre, aucune résolution, aucun taux d'images ni aucun benchmark n'ont été divulgués.
- L'accès commence avec des testeurs de confiance, puis avec les partenaires AI Ultra et API Gemini.
- La dérive et les sessions courtes restent les principales limites pratiques.
Découvrez l'annonce de Genie 4, la page du modèle Genie 4 et la liste d'attente de Project Genie. Par ailleurs, n'hésitez pas à nous suivre sur Twitter et n'oubliez pas de rejoindre notre SubReddit 150k+ML et de vous abonner à notre Newsletter. Attention ! êtes-vous sur telegram ? vous pouvez désormais également nous rejoindre sur telegram.
Besoin de vous associer à nous pour promouvoir votre dépôt GitHub OU votre page Hugging Face OU le lancement de votre produit OU votre webinaire, etc. ? Connectez-vous avec nous
L'article Meet Google DeepMind’s Genie 4: Real-Time World Model With Native Audio est applu en premier sur MarkTechPost.