量子位Veröffentlichung der Quelle

Eine einzige 5090 läuft ein 34B-Echtzeit-Weltmodell – ein Spieler aus China holt sich den NVIDIA-Preis!

Yunzhong, von Ou Feisi

Yunzhong, von Ou Feisi

QbitAI | Offizieller WeChat-Kanal QbitAI

Ein Echtzeit-Weltmodell, das aus einem virtuellen Filmstudio in China hervorgegangen ist, hat auf der Bühne von NVIDIA einen Preis gewonnen.

Am 15. Oktober fand die Halbzzeit-Präsentation des NVIDIA Startup Showcase 2026 am Jinji-See in Suzhou statt. Das aus Chongqing stammende Unternehmen Dawa Technology erhielt für sein Echtzeit-Weltmodell-ProduktScenes AIden„Halbzeit-Präsentations-Preis für herausragende Unternehmen“。

In diesem Wettbewerb fanden landesweit 11 Regionalveranstaltungen statt, mehr als 580 Technologieunternehmen meldeten sich an, und schließlich traten 30 Mitglieder des NVIDIA-Incubator-Programms (Inception) bei der Halbzeit-Präsentation an.

Anders als die meisten Videomodelle, die darum konkurrieren, wie sehr die „nächste Frames der vorherigen ähnelt“, schlägt Scenes AI einen anderen Weg ein:

Es sagt nicht das nächste Bild voraus, sondernpflegt einen dauerhaft laufenden Weltzustand– Szene, Figuren, Kamera, Licht, Objekte und Physik sind jeweils Gruppen von Variablen, die einzeln gelesen und geschrieben werden können.

Wenn sich in der Welt etwas ändert, muss das Modell nicht das gesamte Bild neu zeichnen, sondern nur den Teil des Zustands aktualisieren, der sich verändert hat, und das Ergebnis zurück in die Welt schreiben, damit der nächste Moment darauf aufbauend weiterentwickelt werden kann.

Damit ändert sich auch die Frage, die es beantworten muss: Nicht „Wie sieht der nächste Frame aus?“, sondernWas passiert als Nächstes mit der Welt, wenn man eine Variable in der Welt verändert?

Noch entscheidender ist: Seine Eingabe sind keine Spiel-Engine- oder Agentenbilder, sondernein realer Raum, der von einer gewöhnlichen Kamera aufgenommen wird。

In den Worten von Dawa selbst:Ein Video ist eine Ausgabe. Eine Welt ist ein Prozess. Ein Video ist ein Ergebnis, eine Welt ist ein Prozess.

Zuerst zum Ergebnis: Ein ganzes Welt verändern, aber auch nur eine einzige Wand ändern

Zunächst die neueste Version der Demo.

Oben links ist der echte Raum zu sehen, den die Kamera gerade erfasst: eine weiße Wand, ein Green Screen, ein schmiedeeiserner Stuhl, ein Teddybär in der Ecke und eine Person in der Mitte, die sich an die Krempe ihres Huts fasst.

Das große Bild ist die Modellausgabe desselben Moments: Der Raum ist in eine sommerliche Steppe im handgezeichneten Stil verwandelt, die Person ist zu einem animierten Mädchen mit gelber Baseballkappe geworden, die Bewegungen sind synchron.

Bei genauerem Hinsehen stellt man fest, dass sich nur das Aussehen verändert hat. Der Stuhl ist noch hinter dem Mädchen, der kleine Bär sitzt noch in der ursprünglichen „Ecke“, Position und Perspektive des dunklen Schrankes auf der rechten Seite haben sich nicht verändert, und auf der Wiese ist sogar noch andeutungsweise die Kante erhalten, an der sich zwei Wände treffen.

Prüfpunkt eins: Globales Neurendern, die Struktur darf nicht durcheinandergeraten.

In diesem Frame ist die einzige überschriebene Variable der „Stil“.

Die Bewegungen der Person, die Position der Möbel, die Verdeckungsverhältnisse und die räumliche Perspektive sind alle als Erhaltungsbedingungen gesperrt. Das Modell muss zunächst erkennen, was Person, Stuhl, Puppe und Schrank jeweils sind, und sie dann beim Wechsel des Stils im ganzen Raum an ihrem Platz fixieren – und das in jedem einzelnen Frame.

Prüfpunkt zwei: Lokale Umschreibung, und es muss sich auch erinnern.

In derselben Szene schreibt ein Kind die Worte „DW未来“ an die Wand, nimmt anschließend eine Plüschtierpuppe hoch und läuft aus dem Bild; der Junge erhebt sich, in dem Raum wachsen Bäume, auf dem Boden entbrennt ein Lagerfeuer; dann hebt er erneut die Hand und kontrolliert das Wetter – erst schneit es im Zimmer, dann beginnt es zu regnen.

Nach dieser Kette von Ereignissen – Menschen kommen und gehen, in der Szene wachsen neue Dinge, das Wetter wechselt mehrfach – sind die vier Schriftzeichen an der Wand nach wie vor vorhanden, an unveränderter Position und mit denselben Strichen.

Geprüft wird hier, ob der Zustand der Welt korrekt zurückgeschrieben und dauerhaft beibehalten wird.

Bei Modellen, die Bild für Bild neu generieren, gilt: Je mehr Veränderungen es im Bild gibt, desto leichter werden zuvor hinterlegte Details „weggespült“, und jede Neuberechnung kann sie unbemerkt verändern; in Scenes AI dagegen wird „es steht etwas an der Wand“ in dem Moment, in dem es niedergeschrieben wird, Teil des Weltzustands. Was auch immer danach geschieht – solange kein Ereignis es verändert, bleibt es dort bestehen.

Auch in der ersten Demonstration im September galt dieselbe Logik: Nachdem der Schneemonster den Boden durchbrochen hatte und fort war, blieb das Loch im Boden an Ort und Stelle bestehen; der schmiedeeiserne Stuhl wurde zweimal hintereinander in einen eisernen Thron mit Wolfskopf umgeschrieben, und die Streamerin konnte wieder auf ihrem Platz Platz nehmen; als der untere Saum des Vorhangs Feuer fing, wurden die unmittelbar daneben stehende Puppe und der Blumentopf nicht in Mitleidenschaft gezogen.

Die gesamte Generierung läuft lokal auf einer RTX-Grafikkarte, in der oberen rechten Bildecke wird die Framerate in Echtzeit angezeigt.

Ein anderer Weg: von „den nächsten Frame neu zeichnen“ zu „den Weltzustand aktualisieren“

Hinter dem Demo steht DAvas grundlegende Einschätzung zu Weltmodellen:

Die Videogenerierung ist bereits mächtig genug, aber die Welt hat noch nicht begonnen zu laufen.

Das Lieferergebnis der Mainstream-Videogenerierung ist „ein einzelnes Ergebnis“: Man gibt einen Prompt ein, es wird ein schönes Video erzeugt – und dann ist Schluss.

Selbst wenn man eine kontinuierliche Synthese Einzelbild für Einzelbild realisiert, bleibt der Fokus auf der Frage „Wie sieht der nächste Frame aus?“, und Fehler bei Identität, Geometrie, Beleuchtung und Physik summieren sich mit der Zeit bit für bit auf.

Dawa definiert Weltmodelle anders:Warum sich eine Welt verändert, nachdem sich eine Zustandsvariable geändert hat, und wie sie sich fortan entwickeln wird.

Ein ganz einfaches Beispiel: Man gibt den Satz „Verandle das Licht in Abendsonnenlicht“ ein:

  • Traditionelles Videomodell: Das Video wird komplett neu generiert, dabei können Szene, Figuren, Kamera und Objekte mitdriften;
  • Scenes AI: Szene, Figuren, Kamera und Objekte werden als Erhaltungsbedingungen eingefroren, nur die eine Variable „Licht“ ändert sich, und aus dem neuen Weltzustand wird das neue Bild erzeugt.

Dawa bringt diesen Ansatz auf einen Satz: Eine Variable verändern, die ganze Welt bewahren.

Rechnerisch bedeutet das den Übergang vom „Neuzeichnen des nächsten Frames“ zur„Aktualisierung des Zustandsinkrements ΔS“— es wird nur der veränderte lokale Bereich aktualisiert, der übrige Weltzustand bleibt stabil, abfragbar und vorhersagbar.

Nach dieser Definition wird eine kontinuierlich laufende Welt in fünf Teile zerlegt:

Persistente Welt = Weltgedächtnis + Neuronale Physik + Sparse Diffusion + Neurales Rendering + KI-Beleuchtung

also Weltgedächtnis, neuronale Physik, spärliche Diffusion, neuronales Rendering und KI-Beleuchtung.

Aus Dawas Sicht müssen auf dem Weg von der Generierung eines Videos zum Betrieb einer interaktiven Welt fünf Hürden gleichzeitig genommen werden:

gedächtnisübergreifende Erinnerung über Frames hinweg, lokale Steuerbarkeit, Physik und Kausalität, Echtzeit-Recheneffizienz sowie Daten, die erklären können, „warum sich die Welt so verändert“.

In ihren Worten:Die Schwierigkeit besteht nicht darin, ein noch größeres Modell zu bauen, sondern darin, dass Zustand, Kontrolle, Physik und Rechenleistung gleichzeitig erfüllt sein müssen.

Die im Folgenden behandelte präzise Steuerung und das Echtzeit-Rendering sind genau die Antworten, die dieser Ansatz auf die beiden Hürden „Kontrolle“ und „Rechenleistung“ liefert.

Technische Architektur: Die Kontrollebene schwer, die Generierungsebene leicht bauen

Wenn Dawa diesen Ansatz in ein technisches System umsetzt, lässt es sich auf einen Satz zusammenfassen:Die Kontrollebene schwer bauen, die Generierungsebene leicht halten.

Scenes AI überlässt nicht alle Probleme einem großen Modell, das Bild für Bild neu zeichnet, sondern fügt zwischen „kreativer Absicht“ und „Bilderzeugung“ eine Kontrollebene ein, deren Kern der Weltzustand ist; Dawa nennt siedie Kontrollebene der Videogenerierung。

  • Kontrollebene: Sie zerlegt das kontinuierliche Video in abfragbare, aktualisierbare und einschränkbare Zustandsfaktoren – Szene und Raum, Figuren und Bewegungen, Kamera und Objektiv, Licht und Material, Assets sowie Kostüm, Maske und Requisiten, Physik und Zeit; sie ist für die Planung von Aktionen, die Pflege des Zustands und die Simulation von Ergebnissen zuständig.
  • Render-Ebene: Sie empfängt die von der Kontrollebene vorgegebenen Bedingungen und erzeugt nur die Teile, die sich ändern müssen, um sie anschließend ins Bild zurückzukomponieren.

Eine typische Ablaufkette lautet:

Weltzustand → Aktion oder Kontaktereignis → Zustandsaktualisierung → lokale Generierung und Komposition → Rückschreiben des Ergebnisses.

Betrachten wir wieder die Demo „DW Future“ von vorhin:

  • Als das Kind auf die Wand schreibt, erkennt die Ereignisebene die Schreibaktion und die Kontaktstelle, also die Wand;
  • Die Steuerungsschicht aktualisiert daraufhin den Weltzustand und vermerkt „an der Wand steht etwas“ am Objekt der Wandfläche;
  • danach wachsen in der Szene Bäume, es brennt ein Lagerfeuer, es schneit und regnet; die Steuerungsschicht aktualisiert nur die entsprechenden Szenenelemente und Wettervariablen, die Renderingschicht erzeugt nur Bäume, Flammen, Schneeflocken und Regentropfen sowie die dadurch verursachten Licht- und Schattenveränderungen, während Wandfläche und Schrift direkt die bereits vorhandene Darstellung weiterverwenden;
  • Wettervorgänge wie Regen und Schnee kommen und gehen und stellen kurzzeitige Veränderungen dar; die Schrift an der Wand bleibt dagegen als persistenter Zustand dauerhaft in der Welt erhalten und steht nachfolgenden Kameraeinstellungen und Interaktionen zur weiteren Ablesung zur Verfügung.

Hier gibt es eine entscheidende Unterscheidung:welche Veränderungen „transient“ sind und welche „persistent“ sind。

Erstere kann die Renderingschicht einfach verarbeiten, letztere müssen in den Weltzustand einfließen. Dass im Demo „die Delle noch da ist“ und „die Schrift noch da ist“, ist die äußere Erscheinung genau dieses Mechanismus.

Betrachtet man die Branche insgesamt, so wird die „Trennung von Zustandspflege und visuellem Rendering“ allmählich zum Konsens bei Echtzeit-Weltmodellen; uneinig ist man darüber,woher der Zustand kommt。

Bei einem Ansatz schreibt eine übergeordnete Engine oder ein Programm Regeln und Zustände explizit vor, und das Modell rendert über ein Referenzbild als Schnittstelle – geeignet für Spiele und Prototypen mit klaren Regeln;

Scenes AI richtet sich an real gedrehte Aufnahmen und Livestream-Umgebungen, wo der Weltzustand vom Modell aus dem Kamerabild heraus analysiert und anschließend kontinuierlich gepflegt, weiterentwickelt und zurückgeschrieben werden muss.

Präzise Kontrolle: eine Variable ändern, alles andere bleibt erhalten

Die präzise Kontrolle liegt auf der Kontrollebene, deren KernmodulLatent Stage。

heißt. Erstens: Variablendekopplung.

Hinweis: Segment 3 lautete im Original nur „Latent Stage“ — so bleibt es erhalten. Latent Stage zerlegt in dem latenten Raum Szene, Figuren, Kamera, Licht, Kleidung, Requisiten und Physik in einzelne unabhängige „Bühnen“, die sich einzeln entwickeln oder gemeinsam beschränken lassen.

Jede Bearbeitung hat einen klaren „Änderungssatz“ und einen „Beibehaltungssatz“: Wird das Licht geändert, sind Szene, Figuren und Kameraposition gesperrt; wird die Kleidung gewechselt, beschränken weiterhin die Identität der Figur und die Körperbewegung die Generierung.

Dass in den Screenshots „der Stil komplett wechselt, die Möbel aber unberührt bleiben“, ist genau das Ergebnis einer sauberen Trennung von Änderungssatz und Beibehaltungssatz.

Zweitens: die nichtlineare Videomatrix.

Dawas vorgeschlagene Fusionsmethode mit nichtlinearer Ansichtsmatrix verwandelt das Bild von „linearer Zeit“ in eine „editierbare Matrix“: Figuren, Umgebung, Kamera, Licht, Objekte und Bewegung werden in neu kombinierbare visuelle Elemente zerlegt, damit die Kontrollebene Kamerabewegungen versteht und echte mit generierten Inhalten verschmelzen kann.

Die zugehörige Demonstrationsarbeit《NVD: Non-Linear View Matrix Fusion for 2D Video Using Multimodal Foundation Models》wurde von der ACM UbiComp / ISWC 2026 angenommen und am 13. Oktober vor Ort im Shanghai International Convention Center präsentiert. Die Forschung wurde von Dawas AIGC-Forschungsinstitut gemeinsam mit der Hong Kong Polytechnic University, der University of Illinois Urbana-Champaign und der Newcastle University durchgeführt.

Drittens: das Weltgedächtnis.

World Memory speichert historische Zustandsausschnitte dauerhaft im Cache und stellt für spätere Generierungen einen abfragbaren und aktualisierbaren Kontext bereit.

Wenn die Kamera einen Bereich verlässt und zurückkehrt, liest das Modell die Zustandsaufzeichnung dieses Bereichs, statt sich eine Wand neu auszudenken.

Dawa betrachtet Langzeitgedächtnis als die derzeit zentrale Herausforderung: Identität, Raum, Physik und Story-Zustände müssen über die Zeit hinweg konsistent bleiben.

Ohne kausales Gedächtnis lösen noch so viele GPUs das Problem nicht.

Viertens: physikalische Beschränkungen.

Neural Physics deckt starre Körper, Stoffe, Flüssigkeiten und Partikel ab und organisiert die Generierungsbedingungen um Kollision und Schwerkraft; es bestimmt, wohin das Feuer brennt und wie Stoff weggedrückt wird; der Neural Renderer übersetzt dann Geometrie, Material und Licht in Bilder.

Der physikalische Zustand wird damit zur gemeinsamen Referenz für Generierung, Training und Bewertung, statt das Video selbst als Antwort zu nehmen.

Im Test fortlaufender Bearbeitungen erreichte Scenes AI eineZiel-Bearbeitungserfolgsquote von 98,2 %,und eine Identitätserhaltungsquote der Figuren von 93,3 %。

Echtzeit-Rendering: die Rechenleistung der sich verändernden Welt vorbehalten

Die Rendering-Ebene wird vom Echtzeit-GenerierungsmodellLiveStagegetragen. Das Problem, das es lösen muss, ist sehr konkret:

Innerhalb des Rechen- und Speicherbudgets einer Consumer-Grafikkarte soll das Bild kontinuierlich und mit geringer Latenz der echten Person folgen.

Erstens: sparsame diffusionale Autoregression.

Die Autoregression ist für die kontinuierliche Entwicklung entlang der Zeit zuständig, die sparsame Berechnung begrenzt den Aktualisierungsbereich jedes Schritts; das heißt, das Modell sagt Zustandsinkremente voraus, nicht ein ganzes neues Bild.

Auf der Grundlage einer Analyse der Daten von über 300 echten kommerziellen Drehiprojekten fand Dawa heraus, dass in typischen Szenen die pro Frame tatsächlich veränderten Bereiche nur einen Anteil des Bildes ausmachen:10%—20%。

Daher werden stabile Bereiche wie Wände und Böden über den Latent Cache direkt wiederverwendet, und die Rechenleistung konzentriert sich auf Figuren, Gesichter, Hände, Stoff, Rauch, Licht und Schatten sowie Interaktionsbereiche.

Zweitens: kausales sparsames Micro-Diffusion.

Die Rendering-Ebene empfängt vom Kontrolldienst eine Reihe von Bedingungen, darunter Ereignistyp, Position, Geschwindigkeit, Intensität, Objektidentität, Material und lokale Historie, führt nur in den veränderten Bereichen eine Abtastung mit wenigen Schritten durch und fügt die lokalen Ergebnisse zurück in das persistente Weltbild ein.

„Kausalization" bedeutet, dass jeder Schritt nur von der bereits erfolgten Historie abhängt, was sich für Streaming-Ausgaben eignet;

„Mikro-Diffusion“ bedeutet, dass bei jedem Schritt nur ein kleiner lokaler Bereich verarbeitet wird statt des gesamten Bildes.

Drittens, sparsame Aktivierung.

Das Modell hat insgesamt 34B Parameter, aktiviert aber bei jedem Schritt nur etwa 4B, was einer Aktivierungsquote von etwa 11,8 % entspricht.

Räumliche lokale Updates reduzieren, „wie viel gerechnet werden muss“, während sparsity-basierte Aktivierungen im Modellinneren steuern, „wie viele Parameter bei jedem Schritt gerechnet werden“; all dies together bildet gemeinsam das „das Merkmal „Kapazität des großen Modells, Echtzeit-Berechnungspfad“.

Das Ergebnis der Kombination all dieser Faktoren: Im Vergleich zu herkömmlichen Video-Diffusionlösungen werden dieGPU-Kosten um 40%–60% gesenkt und die Inferenzgeschwindigkeit um das 3–5-fache erhöht。

Wenn das Bild vollständig wechseln muss – wie in dem Screenshot, in dem ein ganzes Haus in eine Steppe verwandelt wird und die Änderung weit über 20% hinausgeht –, verteilt das System die Berechnung dynamisch nach dem Umfang der Änderung; lokale Bearbeitung und vollständige Szenenumwandlung teilen sich dieselbe Pipeline.

Letztlich erreichte Scenes AI auf einer einzelnen NVIDIA GeForce RTX Consumer-Grafikkarte eine Echtzeitausgabe mit 720P und 25 Bildern pro Sekunde.

Unterer Rechenaufwand: nativ auf dem NVIDIA-Technologiestack aufgebaut.

Die technologische Zusammenarbeit zwischen Dawa und NVIDIA begann 2018 – in jenem Jahr kaufte Dawa sein erstes NVIDIA DGX-1-System.

Heute nutzt Scenes AI CUDA für Beschleunigung von Training und Inferenz, TensorRT für die Inferenzoptimierung und NVENC zur Unterstützung der Echtzeit-Videoencoding-Ausgabe.

Die spärliche Aktualisierung reduziert unnötige Berechnungen, der Latent Cache fördert die Wiederverwendung von Grafikspeicher, und die Schichtenarchitektur eignet sich von Natur aus für ein schichtweises Deployment – dieser Mechanismus selbst wurde von Anfang an auf die Parallelberechnung und die Wiederverwendung von Berechnungen auf GPUs ausgerichtet.

Kernhindernis: nicht das Video Dataset, sondern das State Dataset

Sobald der Weg klar ist, besteht die eigentliche Schwierigkeit darin, das Modell auch zu trainieren. Dawas Akkumulation lässt sich in drei Ebenen zerlegen.

Erste Ebene: Zustandsdaten

Um zu lernen, „wie sich die Welt verändert“, reichen Videos allein nicht aus.

Die meisten Internetvideos sind geschnittene Endprodukte; wie die Kamera geführt wurde, wie das Licht gesetzt wurde, wann ein Requisit aufgenommen wurde – diese Prozessinformationen sind fast vollständig herausgeschnitten, und die Pixel selbst erklären nicht, warum sich die Welt so verändert hat.

Dawa bringt es so auf den Punkt:Nicht ein Video Dataset, sondern ein State Dataset.

Dawa betreibt in Yongchuan, Chongqing, ein 8.4 万 Quadratmeter (84.000 Quadratmeter) großes Filmstudio der Spitzentechnologie mit durchgehend digitalisierten Abläufen.

In den vergangenen 5 Jahren hat das Team kontinuierlich aus über 300 realen kommerziellen Projekten Daten erhoben, annotiert und aufbereitet und dabei rund180 TB strukturierte Weltzustandsdatenangesammelt, die sechs zentrale Dimensionen abdecken: Kameratrajektorien, Bewegungstrajektorien, Objektzustände, Beleuchtungszustände, physikalische Zustände und narrativer Zustand.

Eine einzelne Szene wird in über 300 Dimensionen strukturiert annotiert, sodass Kamera, Optik, Raum, Darstellung und Bewegung auf dieselbe Zeitachse ausgerichtet werden.

Das Filmstudio bündelt zudem von Natur aus die Langschwanz-Proben, die bei der Echtzeitgenerierung am schwersten zu handhaben sind: weite Ärmel und Röcke, die sich mit den Bewegungen verformen, wiederholte Kontakte zwischen Händen und Requisiten, gegenseitige Verdeckungen mehrerer Figuren, die kontinuierliche Bewegung der Kamera während der Darstellung sowie Lichtwechsel, die gleichzeitig auf Figuren und Umgebung wirken.

Neben realen Daten nutzt Dawa NVIDIA Omniverse und PhysX, um Simulationsszenen aufzubauen und annotierte Daten mit exakten physikalischen Zuständen in Serie zu erzeugen; mit NVIDIA Cosmos generiert es auf H200 „prozesstypische“ Daten wie schmelzendes Eis, wachsende Bäume oder schmelzenden Schnee.

Die drei Datenarten haben klar getrennte Aufgaben:Reale Aufnahmen liefern die Verteilung, Simulationen liefern exakte Zustände, und generierte Daten schließen Abdeckungslücken.

Zweite Ebene: Trainingsroute

Dawa trainiert keinen „Videogenerator“, sondern ein sich kontinuierlich weiterentwickelndes Weltsystem, das insgesamt in fünf Phasen unterteilt ist:

  • Weltverständnis-Pretraining: selbstüberwachtes Lernen auf 180 TB Film- und Fernsehdaten zum Aufbau eines einheitlichen Latentraums;
  • Raum-Zeit-Prädiktionstraining: Zukunftsprognose, Videovervollständigung und Zustandsrekonstruktion, um zeitliche Evolution zu lernen statt das Aneinanderreihen kontinuierlicher Videos;
  • Spezialfähigkeiten-Training: separate Spezialisierung von Modulen wie lokale spärliche Mikro-Diffusion, nichtlineare Videomatrix, neuronales Rendering und neuronale Physik;
  • gemeinsame Optimierung: Multi-Task-Joint-Training und Curriculum Learning mit End-to-End-Optimierung im gemeinsamen Latentraum;
  • Agentengesteuertes Reinforcement Learning: kooperative Multi-Agenten aus Regie, Kamera, Licht, Animation und mehr zur kontinuierlichen Optimierung von Bildqualität und Szenenkonsistenz.

Dritte Ebene: Produktionskreislauf

Dawa ist selbst in der realen Film- und Kurzserienproduktion tätig. Kundenänderungen, Feedback aus Interaktionen und Fälle von Modellfehlern fließen als Eingang für die nächste Runde der Datenselektion, der ergänzenden Datenerhebung und des Trainings zurück – das heißt, das Modell wird am Filmset geprüft, und das Filmset wiederum füttert das Modell.

„Wir drehen jeden Tag echte Filme und Kurzserien. Jedes Licht-Setup, jede Kamerafahrt sagt dem Modell, wie diese Welt funktioniert“, erklärte Chen Liang, Mitgründer von Dawa Technology. „Der nächste Wettbewerb der Weltmodelle gehört den Teams, die über echte Weltprozesse verfügen.“

Von „der Erzeugung eines Ergebnisses“ zum „Betreiben einer Welt“

Weltmodelle sollten kein abstraktes Konzept bleiben; in konkrete Anwendungen übersetzt entspricht dieser Ansatz mehreren klaren Szenarien:

  • Film und Kurzserien: Regisseure passen und transformieren in kontrollierbaren Szenen mehr Kreativität und wandeln jede Idee sofort in parametrisierte Wetter-, Beleuchtungs-, Kostüm- und Umgebungsvarianten um;
  • Live-Streaming und E-Commerce: einzelne „Gitter-Livestreaming-Räume“ in echte „Szenen-Livestreaming-Räume“ verwandeln, in denen sich der Raum, in dem sich der Streamer befindet, in Echtzeit je nach Produkt und Thema wechselt – Snowboots im Schnee verkaufen, Wanderschuhe auf Bergen;
  • Kulturtourismus, Games und interaktive Präsentation: Inhalte sind nicht länger einseitig betrachtete Objekte; Nutzer können direkt in den realen Raum eintreten, interagieren, umschreiben und fortsetzen.

Sie teilen dieselben Anforderungen: Änderungen müssen kontrollierbar sein, Ausgaben müssen zeitnah erfolgen, die Kosten müssen abschätzbar sein.

Eine Consumer-Grafikkarte und ein lokaler Rechner genügen für den Betrieb, ohne Abhängigkeit von Cloud-Rechenleistung – erst damit geht es von der Laborvorführung in eine reale Umgebung, die einer tatsächlichen Bereitstellung näherkommt.

„Die Videogenerierung ist bereits leistungsstark genug, aber die Welt hat noch nicht begonnen zu laufen. Ein Video kann enden, eine Welt muss dauerhaft laufen.“ So fasste Li Zongxing, Chief Product Officer von Dawa Technology, den Ausgangspunkt von Scenes AI auf der Roadshow der Halbstrecken-Präsentation zusammen.

„NVIDIA bietet ein solides Rechenfundament für Echtzeit-Weltmodelle“, erklärte er. „Wir hoffen, gemeinsam mit dem NVIDIA-Ökosystem Weltmodelle aus dem Labor in die echte Produktion zu bringen, damit jeder Kreative mit einer einzigen Grafikkarte eine dauerhaft laufende Welt in Echtzeit aufbauen, umschreiben und betreten kann.“

△ Foto von Li Zongxing, CPO der Dawa Technology, bei der Roadshow der Halbstrecken-Präsentation

Blickt man auf den Weg zurück, den Dawa in den letzten Jahren genommen hat, so sind mehrere entscheidende Puzzleteile bereits an ihrem Platz.

Die Daten sind vorhanden: ein 8.4 Quadratmeter großes Studiogelände, über 300 echte Projekte, 180 TB Daten zum Weltzustand – und der Bestand wächst stetig weiter;

Das Modell läuft: Das 34B-Weltmodell läuft in Echtzeit auf einer einzigen Consumer-Grafikkarte, präzise Steuerung und Echtzeit-Rendering funktionieren gleichzeitig;

Auch die Anerkennung kam: im August ausgezeichnetes Unternehmen auf der Shenzhen-Station, im Oktober Präsentation eines UbiComp-Papers, im selben Monat der NVIDIA-Preis für herausragende Unternehmen bei der Halbstrecken-Präsentation.

Wenn sich die Aufmerksamkeit der Branche von „ein Video generieren“ hin zu „eine Welt betreiben“ verschiebt, wird dieser aus dem Filmstudio gewachsene Ansatz von immer mehr Menschen wahrgenommen.

Videos enden, Welten nicht. Für Scenes AI hat diese Welt gerade erst begonnen zu laufen.

*Dieser Artikel wird von QbitAI mit Genehmigung veröffentlicht; die Ansichten liegen allein beim ursprünglichen Autor.

Originalquelle

量子位

Hinweise zum Inhalt

Originalveröffentlichung und Rechte liegen bei der Quelle.

Maschinelle Übersetzung · Original beachten