Yunzhong, desde Awafeisi
Quantum Bit | Cuenta oficial QbitAI
Un modelo de mundo en tiempo real surgido de un plató virtual nacional ha ganado un premio en el escenario de NVIDIA.
El 15 de octubre se celebró en el Lago Jinji de Suzhou la presentación de mitad de recorrido del NVIDIA Startup Showcase 2026, y la empresa de Chongqing Dawa Technology obtuvo, con su producto de modelo de mundo en tiempo realScenes AIel premio«Premio a la Empresa Sobresaliente de la Presentación de Mitad de Recorrido»。
En esta edición del concurso se organizaron 11 eventos regionales en todo el país, con más de 580 empresas tecnológicas inscritas, y finalmente 30 miembros del programa NVIDIA Inception para startups aceleradas pasaron a la presentación de mitad de recorrido.
A diferencia de la mayoría de los modelos de vídeo, que compiten en «cuánto se parece el siguiente fotograma», Scenes AI sigue otro camino:
no predice el siguiente fotograma, sino quemantiene un estado del mundo en funcionamiento continuo—la escena, los personajes, la cámara, la iluminación, los objetos y la física son cada uno un conjunto de variables que pueden leerse y escribirse por separado.
Cada vez que ocurre un cambio en el mundo, lo que el modelo debe hacer no es redibujar toda la secuencia de imagen, sino actualizar solo la parte del estado que ha cambiado y escribir el resultado de vuelta en el mundo, para que el instante siguiente continúe evolucionando sobre esa base.
Así, la pregunta que debe responder también cambia: no es «cómo se verá el siguiente fotograma», sinosi se cambia una variable del mundo, ¿qué ocurrirá después en el mundo?
Más importante aún: su entrada no son imágenes de un motor de juego o de un agente, sinoun espacio real captado por una cámara ordinaria。
En palabras del propio Dawa:Un video es un producto. Un mundo es un proceso. Un vídeo es un resultado; un mundo es un proceso.
Primero veamos el efecto: cambiar un mundo entero, pero también poder cambiar solo una pared
Veamos primero la última versión de la demo.
En la esquina superior izquierda está la sala real captada por la cámara en ese momento: una pared blanca, una pantalla verde, una silla de hierro forjado, un oso de peluche en un rincón, y una persona de pie en el centro sujetándose la visera.
La imagen grande es la salida del modelo en el mismo instante: la sala se ha convertido en una pradera veraniega de estilo dibujado a mano, la persona se ha convertido en una chica animada con una gorra de béisbol amarilla, con movimientos sincronizados.
Si se mira de cerca, se descubre que solo ha cambiado la apariencia. La silla sigue detrás de la chica, el osito sigue sentado en su «rincón» original, la posición y la perspectiva del armario oscuro de la derecha no se han movido, e incluso queda vagamente en la hierba la línea de pliegue donde se unen dos paredes.
Punto de examen uno: re-renderizado global, la estructura no debe alterarse.
En este fotograma, la única variable reescrita es «el estilo pictórico».
Los movimientos de la persona, la posición de los muebles, las relaciones de oclusión y la perspectiva espacial quedan todos bloqueados como condiciones de conservación. El modelo primero debe reconocer qué son la persona, la silla, el peluche y el armario, y luego, al cambiar el estilo de toda la habitación, mantenerlos fijos en su lugar, y eso debe cumplirse en cada fotograma.
Punto de examen dos: reescritura local, y además hay que recordar.
En la misma escena, un niño escribe "DW未来" en la pared, luego toma una peluche y sale corriendo del cuadro; el chico se levanta, en la habitación crecen árboles y en el suelo se enciende una hoguera; a continuación levanta la mano para controlar el clima: primero empieza a nevar en la habitación y luego llueve.
Tras una cadena de sucesos, la gente llega y se va, en la escena aparecen cosas nuevas, el clima cambia varias veces, pero las cuatro letras de la pared siguen ahí, sin cambiar de posición ni de trazos.
Lo que se pone a prueba es si el estado del mundo se ha reescrito correctamente y se mantiene de forma persistente.
Para un modelo que genera fotograma a fotograma, cuantos más cambios hay en la imagen, más fácil es que los detalles previos queden "lavados", y cada redibujo puede modificarlos en silencio; en cambio, en Scenes AI, "hay letras en la pared" pasa a formar parte del estado del mundo en el momento en que se escriben. Después, pase lo que pase, mientras ningún evento lo altere, permanece ahí.
En la demostración estrenada en septiembre se aplicaba la misma lógica: tras salir de la tierra, el yeti dejaba el hoyo en el suelo tal cual; la silla de hierro forjado fue reescrita dos veces seguidas como un trono de hierro con cabeza de lobo, y el streamer podía volver a sentarse en su lugar; cuando se incendió el dobladillo de la cortina, la peluche y la maceta que estaban justo al lado no resultaron afectadas.
Toda la generación se ejecuta localmente en una tarjeta gráfica RTX, con la tasa de fotogramas mostrada en tiempo real en la esquina superior derecha de la imagen.
Un camino distinto: de "redibujar el siguiente fotograma" a "actualizar el estado del mundo"
Detrás de la demo está un juicio fundamental de Dawa sobre los modelos de mundo:
La generación de video ya es lo bastante potente, pero el mundo todavía no ha empezado a funcionar.
El entregable de la generación de video convencional es "un resultado": se da un prompt, se genera un video bonito y se termina.
Incluso si se hace como una síntesis continua cuadro a cuadro, lo que importa sigue siendo "cómo se ve el siguiente cuadro": los errores de identidad, geometría, iluminación y física se acumulan poco a poco con el tiempo.
Dawa define un modelo del mundo de manera distinta:cómo cambia el mundo tras modificar una variable de estado y cómo evolucionará después.
Tomemos el ejemplo más simple: se introduce la frase "cambia la iluminación a un atardecer":
- Modelo de video tradicional: regenera todo el video, y la escena, los personajes, la cámara y los objetos pueden desviarse;
- Scenes AI: la escena, los personajes, la cámara y los objetos se congelan como condiciones de conservación, solo cambia la variable "iluminación", y a partir del nuevo estado del mundo se genera la nueva imagen.
Dawa condensa esta idea en una frase: modificar una variable, conservar el mundo entero.
Llevado al cálculo, significa pasar de "redibujar el siguiente cuadro" a"actualizar el incremento de estado ΔS"—solo se actualiza la parte que cambió, mientras el resto del estado del mundo se mantiene estable, consultable y predecible.
Según esta definición, un mundo en funcionamiento continuo se descompone en cinco partes:
Mundo persistente = Memoria del mundo + Física neuronal + Difusión dispersa + Renderizado neuronal + Iluminación con IA
es decir, memoria del mundo, física neuronal, difusión dispersa, renderizado neuronal e iluminación con IA.
En opinión de Dawa, para pasar de generar un video a ejecutar un mundo interactivo hay que superar cinco barreras simultáneamente:
memoria entre cuadros, control local, física y causalidad, eficiencia del cálculo en tiempo real, y datos que expliquen "por qué el mundo cambia así".
En sus palabras,la dificultad no consiste en construir un modelo más grande, sino en que el estado, el control, la física y la potencia de cómputo deben sostenerse al mismo tiempo.
El control preciso y el renderizado en tiempo real que se explicarán más adelante son precisamente las respuestas de esta ruta a las dos barreras de "control" y "potencia de cómputo".
Arquitectura técnica: capa de control robusta, capa de generación ligera
Al convertir esta ruta en un sistema de ingeniería, el enfoque de Dawa puede resumirse en una frase:capa de control robusta, capa de generación ligera.
Scenes AI no entrega todos los problemas a un gran modelo que redibuja cuadro a cuadro, sino que añade, entre la "intención creativa" y la "generación de la imagen", una capa de control centrada en el estado del mundo, que Dawa denominacapa de control de la generación de video。
- Capa de control: descompone el video continuo en factores de estado consultables, actualizables y restringibles —escena y espacio, personajes y acciones, cámara y objetivos, iluminación y materiales, recursos y atrezo, física y tiempo—; se encarga de planificar acciones, mantener el estado y deducir resultados.
- Capa de renderizado: recibe las condiciones enviadas por la capa de control y solo genera las partes que necesitan cambiar, para luego sintetizarlas de nuevo en la imagen.
Un flujo de ejecución típico es:
estado del mundo → acción o evento de contacto → actualización del estado → generación local y síntesis → escritura del resultado.
Tomemos de nuevo el Demo de "DW futuro" mencionado antes:
- cuando el niño escribe en la pared, la capa de eventos identifica la acción de escritura y el punto de contacto, es decir, la pared;
- La capa de control actualiza en consecuencia el estado del mundo, registrando "hay texto en la pared" en el objeto pared;
- después, en la escena crecen árboles, se enciende una hoguera, nieva y llueve; la capa de control solo actualiza los elementos de la escena correspondientes y las variables meteorológicas, y la capa de renderizado solo genera los árboles, las llamas, los copos de nieve y las gotas de lluvia junto con los cambios de luz y sombra que producen, mientras que la pared y el texto reutilizan directamente su representación existente;
- los procesos meteorológicos como la lluvia y la nieve van y vienen, por lo que son cambios transitorios; el texto en la pared, en cambio, se conserva como estado persistente en el mundo, disponible para que las tomas e interacciones posteriores sigan leyéndolo.
Aquí hay una distinción clave:cuáles cambios son "transitorios" y cuáles son "persistentes"。
los primeros se entregan a la capa de renderizado y basta con procesarlos; los últimos deben entrar en el estado del mundo. En la demo, "el cráter sigue ahí" y "el texto sigue ahí" son manifestaciones externas de este mecanismo.
Visto desde la perspectiva de la industria, "separar el mantenimiento del estado del renderizado visual" se está convirtiendo gradualmente en un consenso entre los modelos de mundo en tiempo real; la discrepancia está ende dónde proviene el estado。
un enfoque consiste en que un motor upstream o un programa escriba explícitamente las reglas y el estado, y el modelo realice el renderizado tomando la imagen de referencia como interfaz, lo cual es adecuado para juegos y prototipos con reglas claras;
Scenes AI se orienta a espacios de rodaje reales y transmisiones en directo, donde el estado del mundo debe ser extraído por el modelo a partir de las imágenes de la cámara, para luego mantenerlo, razonarlo y reescribirlo de forma continua.
Control preciso: se cambia una variable y todo lo demás se mantiene
El control preciso recae en la capa de control, cuyo módulo central esLatent Stage。
Primero, el desacoplamiento de variables.
Latent Stage descompone en el espacio latente la escena, los personajes, la cámara, la iluminación, el vestuario, los accesorios y la física en “escenarios” independientes, que pueden evolucionar por separado o someterse a restricciones conjuntas.
Cada edición tiene un “conjunto de cambios” y un “conjunto de preservación” claramente definidos: al modificar la iluminación, la escena, los personajes y la posición de cámara quedan bloqueados; al cambiar el vestuario, la identidad de los personajes y sus movimientos corporales siguen restringiendo la generación.
En las capturas de pantalla, “se cambia todo el estilo visual pero los muebles no se mueven”, que es el resultado de una separación suficientemente limpia entre el conjunto de cambios y el conjunto de preservación.
Segundo, la matriz de video no lineal.
El método de fusión de matrices de perspectiva no lineal propuesto por Dawa convierte la imagen de un “tiempo lineal” a una “matriz editable”: los personajes, el entorno, la cámara, la iluminación, los objetos y el movimiento se descomponen en elementos visuales que pueden recombinarse, lo que facilita que la capa de control comprenda los movimientos de cámara y fusione contenido real con contenido generado.
El artículo de demostración relacionado, titulado «NVD: Non-Linear View Matrix Fusion for 2D Video Using Multimodal Foundation Models», ha sido aceptado por ACM UbiComp / ISWC 2026 y fue presentado en persona el 13 de octubre en el Centro Internacional de Convenciones de Shanghái. La investigación fue realizada conjuntamente por el Instituto de Investigación AIGC de Dawa, la Universidad Politécnica de Hong Kong, la Universidad de Illinois en Urbana-Champaign y la Universidad de Newcastle.
Tercero, la memoria del mundo.
World Memory almacena en caché de forma persistente fragmentos del estado histórico, proporcionando un contexto consultable y actualizable para las generaciones posteriores.
Cuando la cámara se aleja y luego regresa, el modelo lee el registro de estado de esa zona en lugar de volver a imaginar una pared.
Dawa considera la memoria de largo plazo como el desafío más crítico actual: la identidad, el espacio, la física y el estado de la historia deben mantenerse consistentes a través del tiempo.
Si no hay memoria causal, por muchas GPU que se acumulen, el problema no se resuelve.
Cuarto, las restricciones físicas.
Neural Physics cubre cuerpos rígidos, telas, fluidos y partículas, organizando las condiciones de generación en torno a las colisiones y la gravedad, decidiendo hasta dónde debe llegar el fuego y cómo debe ser empujada la tela; Neural Renderer convierte luego la geometría, los materiales y la iluminación en imágenes.
Así, el estado físico se convierte en la referencia común para la generación, el entrenamiento y la evaluación, en lugar de tomar el video mismo como la respuesta.
En las pruebas de edición continua, Scenes AI alcanzó unatasa de éxito en ediciones objetivo del 98.2%，y una tasa de preservación de la identidad de los personajes del 93.3%。
Renderizado en tiempo real: reservar la potencia de cálculo para el mundo que está cambiando
La capa de renderizado corre a cargo del modelo de generación en tiempo realLiveStageque debe resolver un problema muy concreto:
hacer que la imagen siga a una persona real de forma continua y con baja latencia, dentro del presupuesto de potencia de cálculo y memoria de una sola tarjeta gráfica de consumo.
Primero, difusión autorregresiva dispersa.
La autorregresión se encarga de la evolución continua a lo largo del tiempo, y el cálculo disperso limita el alcance de la actualización en cada paso; esto significa que el modelo predice incrementos de estado, no una imagen completamente nueva.
Basándose en el análisis de datos de más de 300 proyectos reales de rodaje comercial, Dawa descubrió que, en una escena típica, las regiones que realmente cambian en cada fotograma solo ocupan una pequeña parte de la imagen.10%—20%。
Por lo tanto, las regiones estables como las paredes y los suelos se reutilizan directamente mediante la caché en espacio latente (Latent Cache), y la potencia de cálculo se concentra en los personajes, el rostro, las manos, las telas, el humo, las luces y las sombras, y las zonas de interacción.
Segundo, microdifusión dispersa causalizada.
La capa de renderizado recibe de la capa de control un conjunto de condiciones que incluye el tipo de evento, la posición, la velocidad, la intensidad, la identidad del objeto, el material y el historial local, y solo realiza un muestreo de pocos pasos en las regiones modificadas, para luego sintetizar el resultado local de vuelta en la imagen persistente del mundo.
«Causalización» significa que cada paso solo depende de la historia que ya ha ocurrido, lo cual es adecuado para la salida en streaming;
«microdifusión» significa que cada vez solo se procesa una pequeña región local, en lugar de toda la imagen.
Tercero, activación dispersa.
El modelo tiene 34B de parámetros en total, y en cada paso solo activa unos 4B, con una proporción de activación de aproximadamente el 11,8%.
Las actualizaciones locales en el espacio reducen «cuánto hay que calcular», y la activación dispersa dentro del modelo controla «con cuántos parámetros se calcula cada vez»; todo esto constituye conjuntamente la característica de «la capacidad de un modelo grande, con una ruta de cálculo en tiempo real».
El resultado de la combinación de los tres: en comparación con los esquemas tradicionales de difusión de video,el consumo de GPU se reduce en un 40%—60% y la velocidad de inferencia aumenta entre 3 y 5 veces.。
Cuando la escena necesita un cambio global, como en la captura donde toda la habitación se convierte en una pradera, el rango de cambio supera con creces el 20%, y el sistema asigna el cálculo dinámicamente según el alcance del cambio; la edición local y la transformación de toda la escena comparten la misma canalización.
Finalmente, sobre una sola tarjeta gráfica de consumo NVIDIA GeForce RTX, Scenes AI logró una salida en tiempo real de 720P a 25 cuadros.
Capacidad de cómputo subyacente: construido nativamente sobre la pila tecnológica de NVIDIA.
La colaboración tecnológica entre Dawa y NVIDIA comenzó en 2018, año en que Dawa adquirió su primer conjunto NVIDIA DGX-1.
Hoy, Scenes AI usa CUDA para la aceleración del entrenamiento y la inferencia, TensorRT para la optimización de la inferencia y NVENC para soportar la salida de codificación de video en tiempo real.
Las actualizaciones dispersas reducen los cálculos inútiles, la Latent Cache favorece la reutilización de la memoria de video, y la arquitectura en capas se adapta naturalmente al despliegue por capas; este mecanismo está diseñado precisamente en torno al cómputo paralelo y la reutilización de cálculo de la GPU.
Barrera central: no es un Video Dataset, es un State Dataset
Con la ruta aclarada, lo realmente difícil fue entrenarlo. La acumulación de Dawa puede dividirse en tres capas.
Primera capa: datos de estado
Para aprender «cómo cambia el mundo», no basta con tener videos.
Los videos de internet son en su mayoría productos finales ya editados; cómo se movió la cámara, cómo se colocaron las luces, cuándo se tomó un objeto de utilería: casi toda esa información de proceso ha sido cortada, y los píxeles por sí solos no pueden explicar por qué el mundo cambió así.
La explicación de Dawa es:No es un Video Dataset, es un State Dataset.
Dawa opera en Yongchuan, Chongqing, un set de filmación tecnológico completamente digitalizado de proceso integral con una superficie de 84.000 metros cuadrados.
En los últimos 5 años, el equipo ha recopilado, anotado y organizado datos de forma continua a partir de más de 300 proyectos comerciales reales, acumulando aproximadamente180TB de datos estructurados de estado del mundoque cubren seis dimensiones centrales: trayectorias de cámara, trayectorias de movimiento, estados de objetos, estados de iluminación, estados físicos y estados narrativos.
Una sola escena puede recibir más de 300 dimensiones de anotación estructurada, alineando cámara, óptica, espacio, actuación y movimiento en una misma línea de tiempo.
Además, el set de filmación concentra de manera natural las muestras de cola larga más difíciles para la generación en tiempo real: mangas anchas y faldas que se deforman con el movimiento, manos que entran en contacto repetido con objetos, múltiples personajes que se obstruyen mutuamente, cámaras en movimiento continuo durante la actuación y cambios de iluminación que actúan simultáneamente sobre los personajes y el entorno.
Además de los datos reales, Dawa construyó escenarios de simulación con NVIDIA Omniverse y PhysX, generando en lotes datos anotados con estados físicos precisos; y usó NVIDIA Cosmos en H200 para generar datos «de proceso», como el derretimiento del helado, el crecimiento de los árboles y la fusión de la nieve.
Las tres clases de datos tienen funciones claramente definidas:la filmación real aporta la distribución, la simulación aporta estados precisos, y los datos generados completan la cobertura.
Segunda capa: ruta de entrenamiento
Dawa no entrena un «generador de videos», sino un sistema del mundo en evolución continua, dividido en cinco etapas:
- Preentrenamiento de comprensión del mundo: aprendizaje autosupervisado sobre 180TB de datos audiovisuales para establecer un espacio latente unificado;
- Entrenamiento de predicción espacio-temporal: predicción del futuro, completación de video y reconstrucción de estados, aprendiendo la evolución temporal en lugar del ensamblaje de videos consecutivos;
- Entrenamiento de capacidades específicas: módulos especializados como microdifusión dispersa local, matriz de video no lineal, renderizado neuronal y física neuronal;
- Optimización conjunta: entrenamiento multitarea conjunto y aprendizaje curricular, con optimización de extremo a extremo en el espacio latente compartido;
- Aprendizaje por refuerzo impulsado por agentes: colaboración multiagente entre dirección, fotografía, iluminación y animación, optimizando continuamente la calidad del encuadre y la coherencia de la escena.
Tercera capa: ciclo cerrado de producción
Dawa ya se dedica a la producción real de cine y series cortas. Las modificaciones de los clientes, los comentarios durante la interacción y los casos de errores del modelo se convierten en retroalimentación que alimenta la siguiente ronda de filtrado de datos, recopilación adicional y entrenamiento; es decir, el modelo se pone a prueba en el plató, y el plató, a su vez, alimenta al modelo.
"Todos los días filmamos películas y series cortas reales; cada iluminación y cada movimiento de cámara le dice al modelo cómo funciona este mundo", afirmó Chen Liang, cofundador de Dawa Technology. "La próxima competencia de los modelos de mundo pertenecerá a los equipos que poseen procesos del mundo real".
De "generar un resultado" a "ejecutar un mundo"
El modelo de mundo no debería ser un concepto suspendido en el aire; aplicado a usos concretos, esta vía corresponde a varios tipos de escenarios bien definidos:
- Cine y series cortas: los directores ajustan y transforman más ideas creativas en escenarios controlados, convirtiendo cada inspiración al instante en esquemas parametrizados de clima, iluminación, vestuario y entorno;
- Streaming y comercio electrónico: convertir las “salas de transmisión en cuadrícula” en verdaderas “salas de transmisión con escenarios”, donde el espacio en el que se encuentra el presentador cambia en tiempo real según el producto y el tema: vender botas de nieve en la nieve, vender zapatos de senderismo en la montaña;
- Turismo cultural, videojuegos y exhibiciones interactivas: el contenido deja de ser un objeto que se observa de manera unidireccional; los usuarios pueden entrar directamente en espacios reales para interactuar, modificarlos y continuarlos.
Todos comparten el mismo conjunto de requisitos: los cambios deben ser controlables, la salida debe ser inmediata y los costos deben poder estimarse.
Funciona con una sola tarjeta gráfica de consumo y un equipo local, sin depender de la computación en la nube; este es el paso de la demostración de laboratorio hacia un entorno real más cercano al despliegue práctico.
“La generación de video ya es lo suficientemente potente, pero el mundo aún no ha comenzado a funcionar. Un video puede terminar; un mundo debe seguir funcionando.” Así resumió Li Zongxing, director de producto de Dawa Technology, el punto de partida de Scenes AI durante la presentación de mitad de recorrido.
“NVIDIA ofrece una base de cómputo sólida para los modelos de mundo en tiempo real”, afirmó. “Esperamos que, junto con el ecosistema de NVIDIA, los modelos de mundo pasen del laboratorio a la producción real, y que cada creador pueda, con una sola tarjeta gráfica, construir, modificar y adentrarse en tiempo real en un mundo en funcionamiento continuo.”
△Foto de Li Zongxing, CPO de Dawa Technology, en la presentación de mitad de recorrido
Al mirar retrospectivamente la trayectoria de Dawa en estos años, ya están en su lugar varias piezas clave del rompecabezas.
Los datos ya están disponibles: un plató de filmación de 8.4 hectáreas, más de 300 proyectos reales y 180 TB de datos del estado del mundo, y siguen acumulándose;
El modelo funciona: el modelo de mundo de 34B se ejecuta en tiempo real en una tarjeta gráfica de consumo, con control preciso y renderizado en tiempo real al mismo tiempo;
El reconocimiento también llegó: empresa destacada de la parada de Shenzhen en agosto, artículo presentado en UbiComp en octubre y, ese mismo mes, el premio a Empresa Excelente de la presentación de mitad de recorrido de NVIDIA.
Cuando la atención de la industria comienza a pasar de “generar un video” a “ejecutar un mundo”, esta ruta surgida de un set de filmación está siendo vista por más y más personas.
El video termina; el mundo no. Para Scenes AI, este mundo apenas comienza a funcionar.
*Este artículo es publicado por QbitAI con autorización; los puntos de vista pertenecen exclusivamente al autor original.