Google DeepMind lanzó su modelo de mundos más reciente, Genie 4, en vista previa de investigación el martes. El último modelo genera los mundos más fotorrealistas e interactivos hasta ahora, permitiendo a los usuarios escribir indicaciones a mitad de la simulación para cambiar la escena. El modelo también genera audio en tiempo real que coincide con el mundo simulado, incluida música, ruidos ambientales y diálogo interactivo.
El lanzamiento de Genie 4 llega un par de meses después de que la startup de video con IA Runway lanzara su segundo modelo de mundos, GWM Worlds 2, un modelo jugable que responde dinámicamente a las entradas del usuario e incluye generación de audio. Al mismo tiempo, la industria de los modelos de mundos está comenzando a consolidarse. La empresa de Fei-Fei Li, World Labs, está siendo adquirida por AMD, Amazon está en conversaciones para comprar Decart, y Rivian acaba de adquirir Third Dimension para llevar las capacidades de simulación a su casa para pruebas de conducción autónoma.
Genie 4 es el último movimiento de Google para mantenerse a la vanguardia en este campo concurrido.
Google lanzó su predecesor, Genie 3, como vista previa de investigación hace poco más de un año. Además de ser mucho más fotorrealista y contar con audio, Genie 4 permite ediciones libres, como cambiar el clima o el ángulo de la cámara en tiempo real o añadir nuevas personas u objetos. Puede mantener una escena consistente durante hasta dos minutos, el doble del límite de su predecesor, y ofrece mejor física y personajes más humanos.
Gemini, el modelo de IA de Google, también está más estrechamente integrado con Genie 4, actuando como el director que planifica los pasos y verifica los fotogramas mientras Genie crea los visuales. En un experimento de investigación vinculado a Gemini Robotics, un modelo Gemini 4 Argon desglosó tareas en pasos que Genie 4 simuló en tiempo real. El experimento muestra una posible forma de probar escenarios de robots en simulación antes de que ocurran en el mundo real.
“Lo que veremos cada vez más en el futuro son estos modelos de mundos híbridos, donde tienes una combinación de Gemini escribiendo código y texto, y Genie ingiriendo eso en tiempo real y simulando la realidad en diferentes niveles de abstracción”, dijo Tejas Kulkarni, director de investigación de Google, durante una sesión informativa.
Al igual que con otros modelos de mundos, los casos de uso comerciales propuestos incluyen los videojuegos, el aprendizaje interactivo y la robótica. Un ejemplo especulativo de aprendizaje interactivo sería entrar en una pintura de una escena histórica y conversar con los personajes de la pintura sobre el evento representado.
Pero los “trusted testers” —las personas que obtienen el primer acceso a los productos de vanguardia de Google— están señalando un posible nuevo uso: la prototipación de películas.
“El aspecto de tiempo real se vuelve más valioso en las áreas donde mantener un estado de fluidez en el espacio creativo se vuelve increíblemente útil”, dijo Diego Rivas, ingeniero de Google DeepMind, durante una conferencia de prensa. “Por ejemplo, en la fase de ideación, en la fase de guiones gráficos —en cualquier momento en que necesites ideación rápida”.
Google también ofrece Veo, su modelo de generación de video con IA que crea clips de alta definición con audio sincronizado incorporado a partir de indicaciones de texto, imagen o video —una herramienta que ha ido ganando popularidad entre los cineastas.
Rivas añadió que los usuarios podrían, con el tiempo, recurrir a Gemini Omni, un modelo de lenguaje grande multimodal que puede generar video a partir de imágenes, audio y texto, para convertir esos prototipos en activos creativos. Aunque esas capacidades, dice, todavía están lejos.
A lo largo de la sesión informativa, Rivas subrayó que todavía es temprano para Genie 4 y que aún no está claro cuál será la experiencia del producto de extremo a extremo. El equipo también reconoció que Genie 4 todavía tiene carencias: los detalles y los objetos pueden desviarse cuanto más tiempo corre una simulación, y todavía no han logrado del todo asegurar que el audio sea preciso y que cualquier texto dentro del mundo sea legible.
Genie 4 ya está disponible como vista previa de investigación para trusted testers. En las próximas semanas, el modelo se implementará para los suscriptores de Google AI Ultra en Project Genie, la herramienta de IA de Google para generar mundos interactivos a partir de indicaciones de texto o imagen, y para los socios de acceso anticipado de la Gemini API y Google AI Studio.