Yīshui, von Āfēi Sì
QuantumBit | Öffentlicher Account QbitAI
Nein, das „Spielweltmodell“, das offenbar viel Rechenleistung verbraucht, wurde tatsächlich in eine RTX 5090 gestopft?!
Und auf ihrem Körper hängen noch zwei sehr verführende Etiketten:
Inländisch, Open Source.
Gerade eben hat das Unternehmen Skywork AI unter昆仑万维 den Matrix-Game 4.0 veröffentlicht. Es wird berichtet, dass dies der „erste weltweit verfügbare Spielweltenmodell ist, der auf einer einzelnen Konsumgrafikkarte in Echtzeit läuft“ ist.
Schnell zu dem Demo: Ehrlich gesagt hat die Bildqualität von 480p wirklich noch Verbesserungspotenzial. Aber wenn man noch ein paar Sekunden zuschaut:
Äh, das ist nicht in Ordnung!!
Der früher übliche Spielweltmodell-Demo ermöglichte es dem Spieler, mit einer Tastenkombination die Richtung zu bestimmen, und anschließend wurde das Modell nach vorne generiert. Man konnte durch die Welt spazieren und die Szenen bewegen, aber ob darunter tatsächlich ein funktionierendes Spiel existiert, ist schwer zu sagen.
Aber das Matrix-Game 4.0 ist jetzt ganz anders.
Im Spiel wird zuerst die Haltbarkeit des Schildes reduziert; wenn der Schild zerstört ist, beginnt das Töten von Blut. Wenn die Lebensbarriere auf Null fällt, endet das Spiel wirklich.
Video-Adresse: https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA
Wow, es scheint also nicht nur die Bilder zu bewegen – auch die Spiellogik dahinter läuft jetzt.
Noch absurder ist, dass dieses ganze Set nicht in einer luxuriösen Rechencluster-Infrastruktur liegt.
Nur ein RTX 5090.
Drücken Sie die Taste – innerhalb von weniger als 0,15 Sekunden reagiert das Bild; in einer Sekunde können 60 Bilder gezeigt werden; das gesamte System verbraucht einen Peak-Speicher von etwa 18,5 GiB.
Die Spielweise kann sogar noch angepasst werden.
Lassen Sie den Coding Agent das Spielcode bewegen – die ursprüngliche Zeitrennen kann in einem Augenblick zu einem Verfolgungskampf mit Zielfahrzeugen werden.
Video-Adresse: https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA
Eine Karte, die ein Spiel ermöglicht, das von der AI in Echtzeit erstellt und nach den Code-Regeln abläuft.
Wie wird das gemacht?
Das Video-Modell mit Harness versehen
Diesmal geht Matrix-Game 4.0 nicht den normalen Weg.
Die Kernurteile, die das Team vorgibt, sind:
Anstatt dass das Videomodell den Weltraum implizit merkt, sollte der Spielengineer den Weltraum explizit pflegen.
Der Weg, der von Google Genie repräsentiert wird, ermöglicht es Spielern zunächst, in eine Welt zu gelangen, in der die KI in Echtzeit Bilder erstellt. Wo auch immer sie sind, erstellt das Modell die Bilder genau dort.
Aber weil die Welt zu besichtigen ist, bedeutet das nicht, dass man Spiele spielen kann.
Das Bild hat manchmal einen Baum mehr oder ein Fenster weniger – das ist höchstens lästig. Aber wenn die Positionen der NPCs, die Lebenspunkte des Spielers und das Ergebnis der Missionen auch vom Modell abhängen, was soll man dann noch spielen???
Das Problem ist also noch größer als das Ausscheiden von Bilder auf dem Bildschirm – es handelt sich dabei um das Verrutschen der Regeln.
In den Augen der Gruppe ist die aktuelle Videogenerierung eher wie eine „Symbolübersetzung“, die dafür zuständig ist, Text, Bewegungen und Szeneninformationen in kontinuierliche Bilder zu umzuwandeln.
Bei der Sache „Malerei“ sind Videomodelle tatsächlich gut.
Der übliche Weg der Vergangenheit sollte dazu dienen, dass er sowohl die ganze Welt im Gedächtnis behält, als auch die Spielregeln klar kennt und weiterhin Bilder generiert.
Wow, ein Modell hat direkt mehrere Aufgaben – und es hält auch kurzfristig durch, aber mit längerer Zeit wird das nicht mehr möglich sein...
△Das Bild wurde von der AI erstellt
Also bei Matrix-Game 4.0 teilte das Team die Aufgaben einfach auf:
Der Spielengine ist dafür verantwortlich, das Spiel richtig laufen zu lassen, und das Videomodell ist dafür verantwortlich, die Bilder gut zu erstellen.
Durch diese Aufteilung bleibt der Zustand der Welt nicht mehr in den von dem Modell erstellten Pixeln verborgen, sondern wird durch Code klar festgehalten.
Selbst wenn die visuelle Generierung gelegentlich Fehler macht, wird dies nicht direkt die Lebenspunkte des Spielers, die Zugehörigkeit der Gegenstände und den Fortschritt der Aufgaben ändern.
Die Gruppe fasste diese Herangehensweise als „Harness auf das Video-Modell anlegen“ zusammen:
1. Der Spieler gibt zunächst in natürlicher Sprache seine Ideen an, und der Coding Agent ist dafür verantwortlich, sie in Spielcode umzusetzen.
2. Der Spielengine fungiert als „Schiedsrichter“ und ist für die Aufrechterhaltung des Weltzustands, die Ausführung der Spielregeln sowie das Erstellen eines klaren Strukturskizzies verantwortlich;
3. Für das Videomodell dient der „Künstler“, der den Entwurf in Echtzeit zu dem endgültigen Bild umsetzt.
Im Grunde genommen bedeutet das: Was bestimmt werden muss, soll dem Code überlassen werden, und was ausgeführt werden soll, soll der AI übernehmen.
Wie die Arbeitsteilung funktioniert, kann man direkt im Demo sehen.
Am Anfang wurde das, was die Engine ausgab, noch eine Strukturansicht bestehend aus Quadraten, Skeletten und einfacher Landschaft.
Es sieht etwas wie „rohes Haus“ aus.
Aber wo die Charaktere sind, wo die Gegenstände sind und wer sich bewegt, wird klar dargelegt.
Die Video-Modelle übernehmen die Kontrolle, das Schloss, der Rasen, die Materialien und die Lichtverhältnisse werden in Echtzeit ergänzt. Vorher war es nur ein 3D-Rasenmodell, und im nächsten Moment ist es eine vollständige Spielansicht.
Video-Adresse: https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA
Einerseits ist das Zeichnen möglich, und die unten angegebenen Regeln funktionieren tatsächlich.
Wenn man zum Beispiel den Schild betrachtet, wird der Motor ihn nachdem der Spieler ihn aufgenommen hat, offiziell in den Spielzustand eintragen. Bei einem Schuss nimmt zunächst die Haltbarkeit des Schilds ab, und nachdem der Schild nicht mehr funktioniert, wird die Lebensfähigkeit des Charakters abgezogen; sobald die Lebensfähigkeit auf null geht, endet das Spiel.
Die Video-Modelle sind dafür verantwortlich, den Prozess darzustellen; wie das Geld abgewickelt wird, entscheidet der Code.
Video-Adresse: https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA
Noch interessanter ist, dass diese Regeln weiterhin angepasst werden können.
Um die Schussrate der Waffe zu erhöhen, sagen Sie einfach in natürlicher Sprache dem Coding Agent Bescheid.
Sobald der Grundlagencode geändert wird, ändert sich auch die tatsächliche Angriffslogik der Waffen.
Video-Adresse: https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA
Eine Kampfszene, in der das gesamte Verfahren exakt durchlaufen wurde:
Der Coding Agent ist für die Bearbeitung verantwortlich, der Motor für die Berechnung und das Video-Modell für die Darstellung.
Die Welt, die von KI generiert wird, beginnt auch mit „es sieht aus wie ein Spiel“, den Weg zu „einem echten Spielverlauf nach den Regeln des Spiels“.
Wie läuft man ein RTX 5090 für Spiele?
Die Idee ist klar, die nächste Hürde ist der wahre Schwierigkeitsgrad:
Rechenleistung.
Schließlich ist das Erstellen von Videomodellen, die in Echtzeit Spiele zeichnen, nicht so, als wäre es eine Aufgabe, die eine Konsumklasse-Grafikkarte bewältigen könnte.
Fast zur gleichen Zeit veröffentlichte das NVIDIA-Team auch StreamRender-H3, das ebenfalls den Ansatz „Code läuft in der Welt, Videomodelle erzeugen Bilder“ verfolgt.
Die offiziell präsentierte Bereitstellungskonfiguration besteht jedoch aus 8 GB200 GPUs. Jeder Videoblock wird mit zwei Schritten zur Entfernung von Rauschen behandelt, und die Zeit für die Diffusion-Rendering-Phase jedes Streaming-Schritts beträgt 218 ms.
Das ist noch nur die Phase der Verbreitung und Renderung. Wenn man die Schritte wie Video-Blocks sammeln, Dekodieren und Wiedergabe einbezieht, beträgt die End-to-End-Latenz etwa 545ms, wenn man davon ausgeht, dass zwei Video-Blocks eine vollständige Rückmeldung ergeben.
Nach einer groben Übersicht dieser Datenlage beträgt die Zeit von der Tastenanschaltung bis zur Bildanzeige in Matrix-Game 4.0 etwa 112 ms, was etwa ein fünftes Teil der vom StreamRender-H3 geschätzten End-to-End-Latence ist; die Hardwarekonfiguration hat sich von 8 GB200 auf einen RTX 5090 reduziert.
Natürlich sind die Auflösungen und die Verzögerungsstatistiken beider Geräte nicht identisch, daher kann man keine direkte Rangliste erstellen.
Aber aus der technischen Umsetzung hervorzuheben ist, dass eine einzelne Konsum-Grafikkarte diese Geschwindigkeit erreichen kann – und das ist bereits beeindruckend.
Und diese Karte hat auch nicht plötzlich alles abgehalten.
Ab Matrix-Game 1.0 hat das Team ständig den Spielweltmodell angepasst:
1.0 Lassen Sie die generierte Welt die Spielbewegungen verstehen, 2.0 lösen sie das Problem der Echtzeit, 3.0 fügen sie die Langzeitgedächtnisfunktion hinzu, 3.5 bleiben sie bei der Stabilisierung von Raum und Charakteren.
△Das Bild wurde von der AI erstellt
Mit 4.0 begann das Team, sich mit einer anderen Herausforderung auseinanderzusetzen:
Wann ist diese in Echtzeit generierte und sich erinnernde Welt wirklich ein Spiel?
Die Antwort ist bereits bekannt: Man überlässt die Regeln dem Code und dem Spielengine.
Aber um die Regeln und das Bild gleichzeitig auf einer RTX 5090 laufen zu lassen, reicht allein eine Neudefinition der Aufgaben nicht aus.
Es muss noch aus ingenieurtechnischer Sicht die Belastung der gesamten Leitung reduziert werden.
Erstes Abzügen: Die Menge, die das Modell selbst erraten muss, wird reduziert
Schritt 1: Die Erstellungsaufgabe vereinfachen.
„Bilder aus dem Nichts malen“?? NEIN, es gibt keinen einfacheren Weg als „nach einem Entwurf eine gebundene Ausgabe zu erstellen“.
Um dem Modell diese Fähigkeit beizubringen, hat das Team mit UE5 eine Reihe von Paaren von Daten erstellt: Einerseits ist die Strukturansicht, andererseits die entsprechende detaillierte Ansicht.
Der erste Ansatz kümmert sich nicht um Materialien oder Licht und Schatten, sondern behält nur die Struktur der Szene, die Position der Objekte und die Bewegungskurven bei. Der zweite Ansatz ist es, das endgültige Ergebnis zu erzeugen.
Mit solcher Übung kann der Spielengineer sofort das Strukturbild laden, und das Videomodell kann anschließend nach den Materialien, Licht- und Schatteneffekten sowie den Umgebungsdetails ergänzt werden.
Aber nur ein Entwurf reicht nicht aus.
Das gleiche Block ist nicht erkennbar als Schild, NPC oder Roadblock – das Modell lässt es nicht erkennen.
Das System liest außerdem die sichtbaren Objekte und den aktuellen Zustand des Motors, um dynamisch den Caption zu erstellen und dem Modell anzuzeigen, was auf der Bildfläche geschieht.
Video-Adresse: https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA
Die Strukturansicht ist für die Beschreibung von „wo“ verantwortlich, der dynamische Caption für die Erklärung von „was und was passiert“.
Hey, die Zeichnungen und Anleitungen sind bereits in meinen Händen.
Jetzt muss das Video-Modell einfach nur nach dem Plan gezeichnet werden.
Zweiter Abzug: Die reduzierten Modelle müssen alles selbst merken.
Eine Zeichnung reicht nicht aus, das Spiel muss weiterlaufen.
Das Problem ist, dass je länger der Video, desto mehr historische Bilder gibt es.
Jede Generierung führt dazu, dass das Modell von vorne anfängt, was nicht nur mühsam ist, sondern auch ein falsch gezeichnetes Teil möglicherweise weiterhin mitgenommen wird.
Nein, die wichtige Szene wird direkt vor den Augen gezeigt – ist das nicht gut?
Das Matrix-Game 4.0 wurde durch die Modifikation mit Wan2.2 5B Fun Control zu einem V2V-Modell entwickelt. Bei jeder Generierung berücksichtigt es nicht nur das aktuelle Strukturbild, sondern auch das Raummemo-Raster, das vorherige Frame zur Verbindung und die kürzlich gespeicherten historischen Informationen.
Wo es sich befindet, wie es aussieht und wie man es anschließt – all diese Informationen sind vorhanden. Die Wahrscheinlichkeit, dass während des Zeichnens abgebrochen wird, sinkt natürlich dadurch.
Dritter Abzug: Reduzierung der Dinge, die das Modell berechnen muss
Der letzte Schlag trifft direkt auf die Rechenmenge selbst.
Das Bild der Diffusion-Modell-Generierung ähnelt etwas dem wiederholten Bearbeiten aus einem vollen Bild mit Rauschen – ein Mal genügt nicht, man muss noch mehrere Male bearbeiten, bis das Bild entsteht.
Das Spiel kann nicht so lange warten.
Die Gruppe hat durch weniger Schritte des autoregressiven Destillationsverfahrens diesen Prozess auf nur 1 oder 2 Schritte reduziert und gleichzeitig nur vier Bilder pro Mal erzeugt.
Eine schnelle Berechnung ist noch nicht ausreichend – die GPU wartet darauf, dass die CPU Anweisungen gibt, und die historischen Daten werden hin und her transportiert, was ebenfalls die Geschwindigkeit verlangsamt.
Also wurden auch CUDA Graph, der FP8-Kombinationstensor, der KV-Ring-Cache und der leichte Codec verwendet:
Wenn etwas weniger gerechnet werden kann, dann wird es weniger gerechnet. Wenn keine Daten transportiert werden müssen, dann sollte man sie nicht hin und her bewegen.
Am Ende sind der Textkodierer, DiT und VAE alle auf einer RTX 5090 installiert.
Bei Einzelstufen-Entfernung erreicht die stabile Generierungsgeschwindigkeit des Videomodells 83 FPS, bei zweifachen Entfernungsprozess etwa 57 FPS.
Das echtzeitige Spiel läuft mit 60 FPS, und nachdem der Spieler einen Knopf drückt, wird die Bildantwort in weniger als 0,15 Sekunde sichtbar.
Ehrlich gesagt, wenn man hier hinschaut, finde ich, dass die 60-Frame-Prozessorauflösung wirklich beeindruckend ist – es geht nicht mehr nur um die Zahl „60“.
Der Spielweltmodell, der früher nur in einem Rechenclustern laufen konnte, kann jetzt mit einer RTX 5090 direkt auf den Desktop eines Entwicklers gebracht werden.
Video-Adresse: https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA
Noch erstaunlicher ist, dass, sobald die Hardware-Hürde weggefallen war, Kunlun Wanwei wieder einen Schlag gab:
Open Source.
Chinas AI bringt das Open-Source-Prinzip in das Spielweltmodell
Die Handlung des „Open Source“ ist im Spielweltmodell eine viel bedeutendere Rolle als man erwartet.
Jedes Mal, wenn ich das Weltmodell veröffentlicht sehe, habe ich ein vertrautes Gefühl:
Das Demo ist wirklich großartig.
Schneefelder, Städte, Wüsten – beliebig generiert. Die Charaktere können mit den Richtungsklicks vorwärts gehen. Die Videos werden auf sozialen Plattformen überall verbreitet.
Und dann?
Dann war es vorbei.
Die Gewichtung des Modells kann nicht erhalten werden, der Inferenzcode ist nicht sichtbar, und es ist noch schwieriger, ihn auf dem lokalen System zu downloaden. Man kann die Regeln ändern und eine andere Szene ausprobieren.
Eine kurze Betrachtung der Branche zeigt, dass die meisten Akteure Produkte, API oder Forschungsvorführungen anbieten. Diejenigen, die tatsächlich Modelle und Code an Entwickler übergeben, sind nur eine Minderheit.
Also ist das Matrix-Game 4.0 diese Woche open source, und der Schwerpunkt liegt darauf, dass es nicht wehtut (manuelles Hundetuch).
Achten Sie darauf: Das ist noch nicht so, dass ich heute plötzlich „aufmachen“ will. Diese Firma hat seit Matrix-Game 1.0 immer den Open-Source-Ansatz verfolgt.
Wenn man zurückblickt, ist es eine wichtige Ursache dafür, dass man so früh die Technologie offen dargelegt hat:
Die Weltmodell-Rennstrecke wird immer lebhafter, aber die Technikstrategie hat noch lange nicht abgeschwichtet.
△Das Bild wurde von der AI erstellt
Es gibt Menschen, die weiterhin auf die Video-Generierung setzen, andere konzentrieren sich auf den 3D-Raum und wiederum andere holen die Spiel-Engine zurück.
Es handelt sich dabei um das sogenannte Weltmodell, und die unterste Lösung ist in Wirklichkeit immer unterschiedlicher geworden.
Das Einzige, was allmählich klarer wird, ist, dass die Erzeugung von Videos allein nicht ausreicht. Die Welt muss zugänglich und interaktiv sein – und am besten auch langfristig funktionieren.
Wie man diesen Schritt genau macht, versuchen die verschiedenen Parteien noch verzweifelt, es herauszufinden.
Gerade weil es keine Standardantwort gibt, hat die Open-Source-Technologie eine Bedeutung.
Sobald das Modell in die Hände des Entwicklers gegeben wird, kann man direkt ausprobieren, ob es wiederherstellbar ist, ob es in einer anderen Szene versagt und welche neuen Spielmöglichkeiten entstehen können.
Wie es funktioniert, wird die Community natürlich beantworten.
Und diese Spielweise sind wir eigentlich so vertraut, dass wir sie kaum noch verstehen.
Die großen Sprachmodell-Open-Source-Projekte und die Multimodale-Open-Source-Initiativen setzen sich fort. Nun, mit Kunlun Wanwei als Vorbild, hat die chinesische Open-Source-Kraft einen Vorsprung in den Spielwelt-Modellen.
Wow, gerade als eine neue Rennstrecke in Schwung kommt, ist das bekannte Rezept bereits serviert.
Natürlich ist das Matrix-Game 4.0 noch nur der Anfang.
Die Qualität von 480p ist wirklich nicht besonders fein. Von einem AI-Welt, das stabiler ist, länger andauert und mehr Personen gleichzeitig spielen, ist noch ein weiter Weg entfernt.
Aber der Weg ist noch nicht festgelegt, und die Antwort kann natürlich nicht nur von einigen Unternehmen hinter verschlossenen Türen erstellt werden.
Nach Google Genie hat der inländische Spieler diesmal die Lösung gegeben:
Der Code ist dafür verantwortlich, dass die Welt sich an die Regeln hält, die AI ist dafür verantwortlich, die Welt zu zeichnen.
Eine RTX 5090 reicht aus, und das Modell sowie der Code wurden ebenfalls bereitgestellt.
Wie könnte man später noch von den Entwicklern verwenden?
Man kann nur sagen:
Matrix-Game 4.0 – der große Bühnenstuhl. Kommen Sie, wenn Sie es mögen.
【Großer Bühnen-Portal】：
https://github.com/SkyworkAI/Matrix-Game
https://huggingface.co/Skywork/Matrix-Game-4.0
https://matrix-game-v4-0.github.io/page/