Yishui, desde Ao Fei Si
QbitAI (Quantum Bit) | Cuenta oficial de WeChat: QbitAI
Espera, ¿el «modelo de mundo de videojuegos», que según la impresión común consume muchísima potencia de cálculo, acaba de ser metido en una sola RTX 5090?!
Y encima lleva colgadas dos etiquetas muy atractivas:
de fabricación china y open source。
Hace unos momentos, Skywork AI, filial de Kunlun Wanwei, ha lanzadoMatrix-Game 4.0, y según se informa, este es«el primer modelo de mundo de videojuegos del mundo capaz de ejecutarse en tiempo real en una sola tarjeta gráfica de consumo»。
Al pasar rápidamente a la demo, sinceramente, la calidad de imagen de 480p todavía tiene margen de mejora, pero tras mirar unos segundos más:
Eh, ¡¡algo no cuadra!!
En las demos habituales de modelos de mundo de videojuegos, el jugador pulsa una tecla direccional y el modelo genera a continuación la imagen hacia adelante. El mundo se puede recorrer y las escenas se mueven, pero si debajo hay de verdad un juego en funcionamiento, eso es difícil de afirmar.
Pero Matrix-Game 4.0 ya es diferente.
Cuando el jugador recibe un impacto, lo primero que se consume es la durabilidad del escudo; cuando el escudo se rompe, empieza a bajar la salud; y cuando la salud llega a cero, el juego de verdad termina.
Dirección del video: https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA
Vaya, resulta que no es solo la imagen la que se mueve: la lógica del juego detrás también se está ejecutando.
Aún más increíble: todo este sistema no está alojado en ningún clúster de cómputo de lujo.
Justo una sola RTX 5090.
Al pulsar una tecla, la imagen reacciona en menos de 0.15 segundos; corre a 60 fotogramas por segundo; y todo el sistema ocupa un pico de memoria de video de unos 18.5GiB。
Incluso se puede modificar la jugabilidad.
Dejando que un Coding Agent toque el código del juego, la carrera contrarreloj original se convierte en un instante en una misión de persecución para interceptar un vehículo objetivo.
Dirección del video: https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA
Una sola tarjeta sostiene una partida dibujada en tiempo real por la IA y regida por reglas de código.
¿Cómo lo han logrado?
Poniéndole un Harness al modelo de video
Esta vez, Matrix-Game 4.0 no ha tomado el camino habitual.
El juicio central que ofrece el equipo es:
En lugar de que el modelo de video memorice el mundo de forma implícita, mejor que el motor del juego mantenga el mundo de forma explícita.
La ruta representada por Genie de Google fue la primera en permitir que los jugadores entraran en mundos generados en tiempo real por la IA: a donde quiera que vayan, el modelo genera la imagen en ese lugar.
Pero que el mundo sea explorable no significa que el juego sea jugable.
Que a veces aparezca un árbol de más o falte una ventana apenas saca al jugador de la experiencia. Pero si la posición de los NPC, la vida de los jugadores o el resultado de las misiones también dependen de la improvisación del modelo, ¿para qué jugar siquiera??
Así que lo verdaderamente problemático no son los fallos visuales, sino las reglas fuera de control.
Desde la perspectiva del equipo, la generación de video en la etapa actual es más bien una «traducción intersemiótica», encargada de convertir el texto, las acciones y la información de las escenas en imágenes continuas.
Lo de «pintar» es algo en lo que los modelos de vídeo ciertamente destacan.
Pero el enfoque habitual del pasado insistía en que el modelo, además, recordara el mundo entero, calculara las reglas del juego y siguiera generando imágenes sin parar.
Vaya resultado: un solo modelo acumulando varios puestos a la vez; a corto plazo aguanta, pero con el tiempo ya sabes lo que pasa...
△Imagen generada por IA
Así que con Matrix-Game 4.0, el equipo decidió simplemente repartir el trabajo:
el motor del juego se encarga de que el juego funcione correctamente, y el modelo de vídeo se encarga de dibujar bien las imágenes。
Al repartirlo así, el estado del mundo ya no queda escondido en los píxeles generados por el modelo, sino que lo registra de forma explícita el código.
Incluso si la generación visual presenta alguna desviación ocasional, no alterará directamente la vida del jugador, la propiedad de los objetos ni el progreso de las misiones, entre otros.
El equipo resume esta idea como«ponerle un Harness al modelo de vídeo»：
1. El jugador primero expresa su idea en lenguaje natural, y el Coding Agent se encarga de convertirla en código de juego;
2. El motor del juego actúa como «árbitro»: mantiene el estado del mundo, ejecuta las reglas del juego y dibuja un boceto estructural que no se descontrola;
3. El modelo de vídeo actúa como «pintor»: siguiendo el boceto, genera en tiempo real la imagen final.
Dicho claramente: lo que debe estar determinado se le da al código, y lo que requiere creatividad, a la IA.
En cuanto a lo bien que funciona esta división del trabajo, mejor verlo directamente en la demo.
Al principio, lo que el motor genera es solo una imagen estructural compuesta por bloques, esqueletos y un terreno simple。
que más bien parece una «vivienda sin acabar».
Pero dónde está el personaje, dónde están los objetos y quién se mueve ya queda perfectamente claro.
Cuando el modelo de vídeo toma el relevo, el castillo, la hierba, las texturas y las luces y sombras se completan en tiempo real: lo que hace un momento era un modelo 3D preliminar, al instante se convierte en una imagen de juego completa.
Dirección del vídeo: https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA
Poder dibujarlo es una cosa; pero las reglas de debajo también están funcionando de verdad.
Tomemos como ejemplo el escudo: cuando el jugador lo recoge, el motor lo registra oficialmente en el estado del juego. Al recibir un impacto, primero se descuenta la durabilidad del escudo, y una vez que el escudo queda inutilizado, se descuenta la vida del personaje; cuando la vida llega a cero, el juego termina.
El modelo de vídeo se encarga de pintar el proceso, pero cómo se calcula exactamente lo decide todo el código.
Dirección del vídeo: https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA
Más interesante aún es que estas reglas se pueden seguir modificando.
Si quieres aumentar la cadencia de disparo del arma, se lo dices directamente al Coding Agent en lenguaje natural.
Al cambiar el código subyacente, la lógica de ataque real del arma también cambia.
Dirección del vídeo: https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA
Una escena de combate hizo correr el método completo de principio a fin:
el Coding Agent se encarga de modificar, el motor de calcular y el modelo de vídeo de dibujar.
El mundo generado por IA también pasa de «parecer un juego» a «funcionar realmente según las reglas de un juego».
¿Cómo hacer funcionar el juego con una sola RTX 5090?
Una vez aclaradas las ideas, el siguiente nivel es el verdadero hueso duro de roer:
Potencia de cómputo。
Después de todo, hacer que un modelo de vídeo dibuje un juego en tiempo real no suena precisamente a tarea que una sola tarjeta gráfica de consumo pueda soportar.
Casi al mismo tiempo, el equipo de investigación de NVIDIA también publicóStreamRender-H3, que sigue igualmente la ruta de «el código ejecuta el mundo, el modelo de vídeo genera las imágenes».
Pero su configuración de despliegue mostrada oficialmente es de8 GPU GB200. Cada bloque de vídeo utiliza dos pasos de eliminación de ruido, y el renderizado por difusión de cada paso de generación en streaming toma 218 ms.
Y eso es solo la fase de renderizado por difusión. Sumando la recogida, decodificación y reproducción de los bloques de vídeo, si se calcula según dos bloques de vídeo que forman una retroalimentación completa, la latencia de extremo a extremo es de aproximadamente545 ms。
Según esta comparación aproximada con los datos, Matrix-Game 4.0 tarda unos 112ms desde la pulsación de tecla hasta la visualización de la imagen, aproximadamente el de la latencia de extremo a extremo estimada de StreamRender-H3un quintode la latencia estimada de extremo a extremo de StreamRender-H3; y la configuración de hardware pasó de 8 GPU GB200 auna sola RTX 5090。
Eso sí, la resolución y los criterios de medición de la latencia de ambos no son completamente idénticos, así que no se puede establecer un ranking directo.
Pero desde el punto de vista de la implementación de ingeniería, que una sola tarjeta gráfica de consumo alcance esta velocidad ya es suficientemente impactante.
Y esta tarjeta no llegó a soportarlo todo de repente.
Desde Matrix-Game 1.0, el equipo ha ido subsanando deficiencias en el modelo de mundo de juego:
1.0 primero logró que el mundo generado entendiera las acciones del jugador, 2.0 resolvió el tiempo real, 3.0 añadió la memoria a largo plazo, y 3.5 siguió estabilizando el espacio y los personajes。
△ Imagen generada por IA
Con la 4.0, el equipo se enfrentó a otra cuestión:
este mundo generado en tiempo real y con memoria, ¿cuándo se convierte en un juego?
La respuesta ya se ha revelado anteriormente: entregar las reglas al código y al motor de juego.
Pero para que las reglas y las imágenes funcionen simultáneamente en una sola RTX 5090, no basta con redistribuir las tareas.
También hay que aligerar toda la cadena desde la perspectiva de la ingeniería.。
Primera reducción: disminuir lo que el modelo debe adivinar por sí mismo.
El primer paso es simplificar la tarea de generación.
¿«Pintar de la nada»? NO, NO, NO: ¿qué esfuerzo ahorra comparado con «partir de un boceto para lograr el acabado fino»?
Para enseñar esta habilidad al modelo, el equipo creó con UE5 un lote de datos emparejados:por un lado, imágenes estructurales; por el otro, las imágenes detalladas correspondientes。
Las primeras ignoran materiales, iluminación y otros adornos, y conservan solo la estructura de la escena, las posiciones de los objetos y las trayectorias de movimiento; las segundas son el efecto final que hay que generar.
Entrenado así, el motor de juego solo tiene que producir primero la imagen estructural, y el modelo de vídeo puede completar a partir de ella los materiales, la iluminación y los detalles del entorno.
Pero solo el boceto no basta.。
Para el modelo, un mismo bloque no revela si es un escudo, un NPC o una barricada.
Por eso, el sistema además lee los objetos visibles y el estado en tiempo real que proporciona el motor, y compone dinámicamente un caption que le dice al modelo qué hay en la escena y qué está sucediendo.
Dirección del video: https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA
La imagen estructural se encarga de indicar «dónde», y el caption dinámico explica «qué es y qué está haciendo».。
Vaya, ya le entregaron en mano tanto el plano como el manual de instrucciones.
Ahora el modelo de video solo tiene que dedicarse a dibujar siguiéndolos.
Segunda reducción: disminuir lo que el modelo tiene que recordar por sí mismo.
Que una imagen sea precisa no basta; el juego tiene que seguir ejecutándose sin parar.
El problema es que, cuanto más largo es el video, más imágenes históricas hay.
Hacer que el modelo revise los registros desde cero en cada generación no solo es laborioso, sino que además un error de dibujo anterior puede arrastrarse durante todo el proceso.
Mejor entregarle directamente los fotogramas clave delante de los ojos, ¿no es mucho mejor?~
Matrix-Game 4.0 se transformó en un modelo V2V a partir de Wan2.2 5B Fun Control; en cada generación, además de referenciar la imagen estructural actual, llama a la imagen de referencia de memoria espacial, al primer fotograma para la transición, y a la información histórica reciente de la caché.。
Dónde está, cómo es y cómo conectarlo: todo indicado con precisión, así la probabilidad de desviarse al dibujar baja de forma natural.
Tercera reducción: disminuir lo que el modelo necesita calcular.
El último corte va directo a la cantidad de cálculo en sí.
Generar imágenes con modelos de difusión es algo parecido a modificar repetidamente a partir de una pantalla llena de ruido: una pasada no basta, hay que pasar varias veces hasta que la imagen toma forma.
Un juego no puede esperar tanto.
El equipo, mediante destilación autorregresiva de pocos pasos, comprimió este proceso a solo 1 o 2 pasos, y genera solo cuatro fotogramas por vez.。
Calcular rápido no basta: la GPU esperando instrucciones de la CPU y los datos históricos yendo y viniendo también ralentizan la velocidad.
Así que también se incorporaron CUDA Graph, operadores fusionados FP8, caché anular de KV y un códec ligero:
calcular una vez menos cuando se pueda, y no mover datos de ida y vuelta cuando se pueda evitar.。
Al final, el codificador de texto, el DiT y el VAE residen por completo en una sola RTX 5090.
Con desenrado de un solo paso, la velocidad de generación en estado estable del modelo de video alcanza 83 FPS; con dos pasos, unos 57 FPS.
El juego real funciona a 60 FPS, y tras que el jugador presione una tecla, la imagen responde en menos de 0.15 segundos.
Sinceramente, al llegar a este punto, creo que lo realmente impresionante del 60 fps en una sola tarjeta ya no es el número «60».
Los modelos de mundo de juegos que antes solo podían ejecutarse en clústeres de cómputo, ahora con una sola RTX 5090 se pueden colocar directamente en el escritorio del desarrollador.
Dirección del video: https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA
Aún más sorprendente: apenas se redujo la barrera del hardware, Kunlun Wanwei remató con otro golpe:
código abierto。
La IA china lleva la competencia del open source a los modelos de mundo de juegos.
La acción de «hacer open source», en el ámbito de los modelos de mundo de juegos, pesa más de lo que uno imagina.
Cada vez que veo el lanzamiento de un modelo de mundo, me invade una sensación familiar:
la demo impresiona, sí.
Montañas nevadas, ciudades, desiertos, todo se genera a voluntad; el personaje presiona las flechas y avanza, y el video se viraliza por las redes sociales.
¿Y luego?
Y luego, nada.。
No se pueden obtener los pesos del modelo, el código de inferencia no está a la vista, y los desarrolladores mucho menos pueden descargarlo localmente para cambiar una regla o probar otro escenario.
Un simple vistazo a la industria revela que la mayoría de los actores abre productos, API o demostraciones de investigación;los que realmente entregan el modelo y el código a los desarrolladores son todavía pocos.。
Por eso este movimiento de open source de Matrix-Game 4.0 apuesta a que usarlo no dé dolor de cabeza (guiño manual).
Lo más destacado: esto no es que hoy de repente hayan decidido «abrirse», esta compañía sigue una línea de código abierto desde Matrix-Game 1.0.
Mirando hacia atrás, siento que una razón muy importante para haber elegido abrir la tecnología tan pronto es:
El sector de los modelos del mundo está cada vez más animado, pero las rutas tecnológicas están lejos de haber convergido.
△Imagen generada por IA
Algunos siguen apostando por la generación de video, otros se centran en el espacio 3D, y también hay quien vuelve a traer de vuelta el motor de videojuegos.
Aunque todos se llaman modelos del mundo, las soluciones subyacentes ya están tomando caminos cada vez más distintos.
Lo único que se va aclarando es que con solo saber generar videos ya no basta: el mundo debe poder explorarse, debe permitir la interacción y, a ser posible, también funcionar de forma sostenida en el tiempo.
En cuanto a cómo dar exactamente ese paso, cada empresa sigue probando y equivocándose a lo loco.
Y precisamente porque no hay una respuesta estándar, el código abierto tiene terreno donde actuar.。
Cuando el modelo pasa a manos de los desarrolladores, si se puede reproducir, si falla al cambiar de escenario y qué nuevas jugadas se le pueden sacar, se prueba directamente sobre el terreno.
Si funciona bien o no, la comunidad dará la respuesta por sí sola.
Y esta estrategia nos resulta más que familiar.
Los grandes modelos de lenguaje se abrieron, los multimodales siguen abriéndose, y ahora las fuerzas chinas del código abierto, con Kunlun Wanwei a la cabeza, han seguido avanzando hasta llegar a los modelos del mundo de videojuegos.。
Vaya cosa: apenas se ha calentado un nuevo sector y ya está servida la receta de siempre.
Por supuesto, Matrix-Game 4.0 ahora mismo es solo un comienzo.
Con una calidad de 480p no se puede hablar de gran detalle, y todavía queda un camino hasta un mundo de IA más estable, de mayor duración y con más gente jugando a la vez.
Pero como el camino aún no está fijado, la respuesta tampoco puede escribirla a puerta cerrada unas pocas empresas.
Después del Genie de Google, la solución que los jugadores nacionales ofrecen esta vez es:
el código se encarga de que el mundo respete las reglas, y la IA se encarga de dibujar el mundo。
Corre con una sola RTX 5090, y tanto el modelo como el código se han entregado juntos.
¿Y hasta dónde podrán los desarrolladores llevarlo después?
Solo se puede decir:
Matrix-Game 4.0 es un gran escenario: si te gusta, vente.
【Portal al gran escenario】:
https://github.com/SkyworkAI/Matrix-Game
https://huggingface.co/Skywork/Matrix-Game-4.0
https://matrix-game-v4-0.github.io/page/