De "ver vídeos generados por IA" a "jugar con las manos en mundos generados por IA": lo que separa ambos es, en realidad, un obstáculo relacionado con el "tiempo real".
El 15 de octubre de 2026, Kunlun Wanwei lanzó oficialmente el primer juego con modelo de vídeo a gran escala del mundo que funciona en una sola tarjeta gráfica de consumo: Matrix-Game 4.0. Matrix-Game 4.0 establece un nuevo paradigma para los modelos de mundo de videojuegos: el motor del juego mantiene el estado del mundo y las reglas de interacción, mientras que el modelo de generación de vídeo presenta en tiempo real imágenes detalladas. Mete una experiencia de juego en tiempo real de 480p y 60 FPS en una sola NVIDIA RTX 5090; desde que pulsas una tecla hasta que la imagen reacciona, la latencia es inferior a 150 milisegundos. Matrix-Game 4.0 completa por primera vez el circuito cerrado de "generación de la lógica del juego mediante código → imagen estructural que aporta restricciones estructurales → renderizado en tiempo real por el modelo de vídeo", dando así al desarrollo de prototipos de juegos, la personalización y el UGC una vía técnica realmente viable. El proyecto también se ha publicado como código abierto.
Dirección del código abierto
Huggingface: https://huggingface.co/Skywork/Matrix-Game-4.0
1. De un fragmento de código a un mundo jugable: los cuatro pilares de Matrix-Game 4.0
1. Tiempo real en una sola tarjeta: sacar de laboratorio el "modelo de vídeo jugable"
Generar en tiempo real imágenes de juego en una tarjeta gráfica de consumo era un objetivo difícil de alcanzar: el apetito de los modelos de generación de vídeo por la potencia de cómputo los mantuvo durante mucho tiempo encerrados en clústeres multitarjeta de laboratorio.
La respuesta de Matrix-Game 4.0 es un conjunto de cifras contundentes: una sola NVIDIA RTX 5090, con el juego funcionando a 60 FPS en resolución 480p; desde la pulsación del jugador hasta la respuesta del primer fotograma, una latencia de extremo a extremo inferior a 150 milisegundos; una velocidad de generación estacionaria de 83 FPS por paso de denoising, con un pico de memoria de vídeo de 18.5 GiB.
Estas cifras significan que, por primera vez, un juego impulsado por un modelo de vídeo tiene valor práctico para despliegue local e interacción en tiempo real: ya no es un vídeo de demostración renderizado sin conexión, sino un juego que puedes manejar de verdad sentándote frente al ordenador.
2. Nuevo paradigma Harness: lograr que el estado del mundo sea realmente "gestionado"
Matrix-Game 4.0 redefine la relación entre el modelo de vídeo y el mundo: el Coding Agent (agente de programación) construye juegos ligeros mediante código, el motor actúa como "árbitro" manteniendo continuamente el estado del mundo y ejecutando las reglas de interacción, y genera imágenes estructurales y condiciones semánticas dinámicas; el modelo de vídeo actúa como "pintor" encargado de convertir geometría simple en imágenes ricas.
Las restricciones externas del motor y su corrección continua permiten que el estado del mundo se mantenga de forma continua, que las reglas del juego se definan con precisión y que las mecánicas puedan reescribirse en lenguaje natural: este es el problema de "si el mundo está siendo gestionado seriamente" que el paradigma Genie nunca resolvió de verdad.
3. Conectar datos, entrenamiento y tiempo de ejecución: una cadena de ingeniería reutilizable
Desde la recopilación de pares de datos imagen estructural-imagen detallada y la anotación semántica dinámica, hasta el entrenamiento de vídeo controlable, la destilación autorregresiva de pocos pasos y la inferencia en tiempo real, unas condiciones geométricas y semánticas unificadas atraviesan toda la cadena técnica.
Este flujo de trabajo ofrece una base de ingeniería para ampliar a nuevos escenarios, nuevas interacciones y nuevas mecánicas: reduce la dependencia de la producción de recursos 3D detallados, permite desarrollar e iterar rápidamente prototipos de juegos, y convierte el lema "también los equipos pequeños pueden construir mundos" en realidad.
4. Lanzamiento con código abierto simultáneo: lograr que los creadores realmente "jueguen"
Matrix-Game 4.0 se publicó como código abierto en el momento de su lanzamiento, ofreciendo a investigadores, desarrolladores y creadores una base técnica reutilizable y código de juego modificable. Combinado con el Coding Agent, los creadores pueden ajustar escenarios, personalizar interacciones y diseñar mecánicas mediante lenguaje natural, reduciendo la barrera de la investigación y la creación a la altura de un solo Prompt, para que más ideas se conviertan en juegos que se puedan experimentar personalmente e iterar continuamente.
2. Tres puntos de bloqueo fundamentales: por qué los mundos que "caminan" no son "divertidos"
Al mirar atrás hacia los modelos de mundo interactivos de la generación anterior, el problema nunca estuvo en la calidad de la imagen: ya eran capaces de generar escenarios suficientemente atractivos. El verdadero obstáculo se esconde en capas más profundas. Si descomponemos el enfoque de la generación anterior, hay tres problemas que nunca se resolvieron.
1. El estado del mundo carece de un mecanismo de mantenimiento independiente y verificable
Sin un motor externo que mantenga un estado explícito, la persistencia de escenarios y objetos depende principalmente de la representación interna y la memoria histórica del modelo. El modelo puede "recordar" imágenes que ya vio, pero eso no significa que el desarrollador pueda leer, modificar y verificar con precisión el estado de cada objeto, ni que se garantice que los personajes y eventos fuera del campo de visión sigan evolucionando según las reglas especificadas.
2. La consistencia en interacciones prolongadas sigue siendo difícil de garantizar de forma estable
La generación autorregresiva depende de los resultados anteriores, por lo que las desviaciones locales pueden propagarse y acumularse con las interacciones continuas. Cuando el jugador explora durante mucho tiempo, vuelve repetidamente al mismo lugar o hace que los objetos entren y salgan varias veces del campo de visión, la estructura del escenario, la identidad de los objetos y los resultados de las interacciones pueden experimentar desviaciones. Ampliar el contexto o introducir mecanismos de memoria puede mejorar estos problemas, pero no aporta una garantía de consistencia a largo plazo de nivel de juego.
3. Una imagen de interacción razonable no equivale a reglas de juego fiables
El modelo puede generar efectos visuales como abrir una puerta, una colisión o un ataque, pero un juego completo también requiere una liquidación numérica precisa: aumentos y disminuciones de puntos de vida, propiedad de objetos, progreso de misiones, determinación de victoria o derrota. Estos mecanismos no solo deben "parecer razonables", sino que deben poder ser definidos, modificados y probados claramente por el desarrollador, y mantenerse consistentes a lo largo de distintas operaciones y ejecuciones prolongadas.
Los tres problemas apuntan en realidad a lo mismo: los enfoques actuales depositan el "mundo" en la memoria del modelo, mientras que los juegos necesitan un mundo que pueda ser leído, modificado y verificado.
Este es precisamente el punto de partida del paradigma elegido por Matrix-Game 4.0: "construir el juego con código y generar la imagen en tiempo real con IA": en lugar de obligar al modelo a esforzarse por recordar el mundo entero, mejor darle al mundo un soporte explícito y mantenible.
3. Nuevo paradigma: que el motor gestione el mundo y la IA lo pinte
La solución de Matrix-Game 4.0 es envolver el modelo de vídeo en un "Harness" encargado de mantener el estado del mundo: un gestor de juego externo proporciona referencias de disposición espacial, gestiona el estado del mundo y actualiza la dinámica semántica, mientras que el modelo de vídeo recibe de manera unificada estos contextos y condiciones de control para generar de forma autorregresiva imágenes futuras breves y realistas.
Todo el sistema está compuesto por tres módulos, con una división clara del trabajo:
El motor se encarga de registrar «qué ocurre realmente» en el mundo y de decidir qué resultado producen las acciones del jugador. No necesita asumir la producción completa de imágenes refinadas: mediante modelos geométricos simplificados y estructuras de escena, describe carreteras, edificios, personajes y objetos interactivos; estados y reglas como la salud, el inventario, la gravedad, las colisiones y el progreso de las misiones se mantienen y ejecutan explícitamente mediante código, en lugar de deducirse de las imágenes generadas. Conforme el jugador actúa, el motor actualiza continuamente el mundo y genera imágenes estructuradas, que proporcionan al modelo de vídeo restricciones sobre la disposición de la escena, el movimiento de los objetos y el ángulo de la cámara. Incluso si un objeto sale del campo de visión, su estado sigue siendo mantenido por el motor según las reglas del juego.
El agente de programación se encarga de convertir las ideas del jugador en un juego ejecutable. El jugador puede plantear sus necesidades en lenguaje natural: desde ajustar el terreno y colocar objetos, hasta modificar el comportamiento de los NPC o diseñar nuevas mecánicas, todo se materializa en configuraciones de escena y código de juego. Por ejemplo, «hacer que los monstruos acudan desde todas direcciones» no solo implica que aparezcan más monstruos en pantalla, sino que también requiere implementar posiciones de generación, formas de movimiento, comportamientos de ataque y condiciones de victoria o derrota. El agente de programación también puede ayudar a definir la semántica y el estilo visual de la escena: un mismo edificio simplificado puede configurarse como una casa vieja junto al mar o como una tienda en una ciudad futurista; estas descripciones actúan como condiciones de texto que, junto con la imagen estructurada, guían la generación visual.
El modelo de vídeo se encarga de convertir la imagen estructurada en una experiencia visual refinada: conservando la estructura de la escena y las restricciones de movimiento, genera materiales, iluminación, atmósfera ambiental y abundantes detalles de apariencia, reduciendo la dependencia de crear uno por uno activos 3D refinados. Combina las condiciones de control actuales con las imágenes históricas para generar de manera continua de forma causal autorregresiva, y mediante una destilación de pocos pasos y optimizaciones de inferencia orientadas al re-renderizado en tiempo real, acorta la espera entre la acción del jugador y la respuesta en pantalla.
Flujo de ejecución en tiempo real: acción del jugador → el motor actualiza el estado del mundo → genera imagen estructurada y condiciones de control → el modelo de vídeo renderiza en tiempo real → se presenta al jugador
La clave de este enfoque es separar cómo funciona el juego de cómo se presenta: el código porta las reglas, el motor mantiene el estado y el modelo de vídeo genera la representación visual. Combinado con la capacidad creativa del agente de programación, Matrix-Game 4.0 permite que más personas, con una barrera de producción más baja, conviertan sus ideas en juegos jugables, modificables e iterables de forma sostenida.
IV. De los datos a la aceleración de la inferencia: una cadena completa que queda unificada
Un «mundo de juego» capaz de funcionar en tiempo real tiene detrás la integración de tres capas de capacidades: datos, entrenamiento y ejecución.
Datos: un conjunto de datos alineado de imágenes estructuradas e imágenes refinadas construido para modelos del mundo
El equipo construyó, basándose en Unreal Engine 5 (UE5), un conjunto de datos de alineación entre dominios de imágenes estructuradas e imágenes refinadas orientado a modelos del mundo y generación de vídeo, que abarca cuatro escenarios típicos: la megaciudad de CitySample, un desierto abierto, un castillo complejo y un combate aéreo de alta dinámica.
Su propio pipeline ligero de captura de abstracción geométrica, manteniendo una estricta sincronización espacio-temporal de trayectorias de cámara y marcas de tiempo, abstrae escenas complejas en representaciones estructuradas de bajo polígono que conservan la topología espacial, las poses de cuerpos rígidos y las trayectorias dinámicas, alineadas píxel a píxel y fotograma a fotograma con imágenes cinematográficas de alto polígono; al mismo tiempo, captura en paralelo los ID de instancia de objetos, los estados de visibilidad y los eventos de interacción causal, construyendo un flujo de metadatos dinámicos rico en semántica.
Caption dinámico: que la descripción siga al juego
En un juego interactivo, la imagen cambia constantemente con las acciones del jugador: al girar la cámara se ven objetos distintos, y al moverse o desencadenar eventos los estados de los objetos también cambian. Una descripción textual fija difícilmente refleja estos cambios a tiempo.
Matrix-Game 4.0 introduce el caption dinámico: el sistema asocia los ID de los objetos de la escena con descripciones semánticas, obtiene del motor de juego los objetos actualmente visibles y su estado en tiempo real, y los inserta en tiempo de ejecución en una plantilla de prompt. La imagen estructurada aporta información estructural como posición, disposición y movimiento; el caption añade información semántica como «qué objetos hay en la imagen y en qué estado se encuentran», y ambos restringen conjuntamente la generación.
Generación controlable y memoria espacial
El modelo de vídeo se adaptó a partir de Wan2.2 5B a un modo vídeo a vídeo (V2V): la imagen estructurada renderizada por el motor y el vídeo a generar se concatenan por canales (entrada de 148 canales), indicándole al modelo «qué pintar y dónde pintarlo»; además se introducen un prompt de eventos de escena sintetizado dinámicamente, una imagen de referencia de memoria espacial y el primer fotograma, encargados respectivamente de la descripción de detalles, la coherencia de la escena y la continuidad visual.
Red del modelo de renderizado: entrada concatenada de 148 canales, 30 capas de DiT causal, autoatención que lee caché de K/V, atención cruzada que lee K/V de texto
Aceleración de la inferencia: exprimir cada milisegundo
Para que los 60 FPS se hagan realidad realmente en tarjetas gráficas de consumo, el equipo realizó numerosas optimizaciones de ingeniería: pregrabar con CUDA Graph el cálculo del backbone DiT y reproducirlo de una sola vez en tiempo de ejecución; escribir kernels GPU especializados fusionados para RoPE, normalización y cuantización FP8, con Q, K y V de la misma capa compartiendo una sola cuantización de entrada; recalcular la KV de la condición de texto solo cuando se actualiza el caption; usar un búfer circular para la KV del historial de vídeo; dividir la autoatención por ventanas KV y calcularlas en paralelo; y sustituir el codificador-decodificador por el ligero TAEHV. Al final, el codificador de texto, el DiT y el VAE pueden residir todos en una única RTX 5090.
V. Coding Agent: con una sola idea, reescribir un juego
Lo más emocionante de Matrix-Game 4.0 quizá no es lo bien que dibuja, sino lo fácil que resulta «modificarlo».
Con ayuda del agente de programación (Coding Agent), los jugadores pueden personalizar su juego en lenguaje natural sobre la base del código de juego existente: desde ajustar el terreno y colocar objetos de escena, hasta modificar el comportamiento y la lógica de interacción de los NPC, e incluso diseñar mecánicas completamente nuevas.
Las ideas ya no se quedan atascadas en la línea de producción de activos 3D, sino que pueden pasar directamente a la fase «jugable e iterable».
Este es precisamente el significado práctico de esta vía tecnológica: con el rápido avance de los asistentes de programación con IA, el costo de construir un motor de juego ligero se ha reducido enormemente. También animamos a los creadores a seguir adaptando y ampliando el código de juego proporcionado por el proyecto, para explorar juntos más mecánicas.
En el último año, los modelos de generación de vídeo han logrado bastantes nuevos resultados al ejecutar juegos, pero que funcionen en el ordenador de un jugador corriente es otra cosa.
Según esta imagen comparativa, en latencia de extremo a extremo, Code World Model tarda unos 10.2 segundos, StreamRender-H3 unos 545 milisegundos y AgentGarten unos 878 milisegundos, mientras que Matrix-Game 4.0 solo 112 milisegundos: desde que se pulsa una tecla hasta que la imagen responde, supone aproximadamente 1/90 del primero y 1/5 y 1/8 de los otros dos, entrando por primera vez de verdad en el rango de «jugable en tiempo real».
En cuanto a los requisitos de cómputo, las demás soluciones requieren respectivamente 1× H200 de 141 GB, 8× GB200 y 1× H100, tarjetas de centro de datos, mientras que Matrix-Game 4.0 funciona únicamente en 1× RTX 5090: basta una tarjeta gráfica de consumo con 32 GB de memoria de vídeo.
En cuanto a la apertura de código, Code World Model y StreamRender-H3 están totalmente abiertos, AgentGarten parcialmente abierto, y Matrix-Game 4.0 libera de forma simultánea el código, los pesos y el modelo en blanco.
VI. Código abierto, para que más gente juegue junta
Matrix-Game 4.0 se lanza junto con su código abierto, ofreciendo a investigadores, desarrolladores y creadores una base tecnológica reutilizable y código de juego modificable. También animamos a los creadores a seguir adaptando y ampliando el código de juego proporcionado por el proyecto, para explorar juntos más mecánicas.
En el futuro, el equipo seguirá iterando el modelo: desplegar un refiner para aumentar la resolución de la imagen, explorar experiencias multijugador en línea con una perspectiva coherente entre jugadores, ofrecer un control de imagen más fino y ampliar el soporte a más tipos de juegos y escenarios.
De «vídeo controlable» a «mundo ejecutable»: este paso quizá sea más importante de lo que parece. Significa que la barrera de la creatividad se reduce y que la frontera de la imaginación se expande.