Stellen Sie sich vor, den Cadiere-Greifer zu bewegen, die Gallenblase zu greifen und anzuheben – alles innerhalb einer generierten chirurgischen Szene, die in Echtzeit reagiert. Heute gehen wir den nächsten Schritt und stellen Cosmos3-H-Dreams vor, das interaktive generative Simulation in die visuelle und prozedurale Komplexität klinischer Chirurgie bringt – mit unseren bislang überzeugendsten Körperinneren-Aufnahmen.
Unsere erste Cosmos-H-Dreams Veröffentlichung, aufgebaut auf Cosmos-Predict2.5, brachte interaktive generative Simulation in das dVRK-Tischnahen, einen grundlegenden Erprobungsboden für die Chirurgie-Robotik. Als World Foundation Model (WFM) demonstrierte Cosmos-H-Dreams eine Alternative zur numerischen Simulation: Statt Szenengeometrie, Gewebeverformung und physikalische Interaktionen explizit zu modellieren, lernte es visuelle Dynamiken direkt aus synchronisierten Video- und Roboterkine matik-Daten und lieferte interaktive Simulation von Tisch-Aufgaben mit hoher Realitätsnähe.
Heute, Cosmos3-H-Dreams erweitert diese Fähigkeit, indem es aus Video- und Roboterkine matik-Aufzeichnungen klinischer Eingriffe auf der CMR Surgical Versius-Plattform lernt. Nach unserem Wissen ist dies der erste echtzeitfähige generative Chirurgie-Simulator, der auf klinischen Cholezystektomie-Aufzeichnungen trainiert wurde und live kinematische Steuerung unterstützt. Angetrieben von Cosmos 3 und beschleunigt mit FlashDreams, NVIDIAs beschleunigter Streaming-Inferenz-Bibliothek, läuft Cosmos3-H-Dreams interaktiv auf einer einzelnen NVIDIA RTX PRO 6000 GPU.
1. Von Tisch-Aufgaben zu klinischen Szenen
In einer kontrollierten Tisch-Umgebung wie der von Cosmos-H-Dreams arbeiten Instrumente vor einem relativ einfachen Hintergrund. Im menschlichen Körper hingegen können kleine Instrumentenbewegungen eine ganze Szene beeinflussen: Gewebe dehnt sich unter Zug, Reflexionen verschieben sich, Strukturen werden verdeckt, und Rauch verändert die Sichtbarkeit. Gegeben ein Anfangsbild und vorgegebene Werkzeugaktionen muss ein generativer Simulator diese Reaktionen erfassen und dabei Anatomie und Instrumente bewahren, während er jeden neuen Videoblock erzeugt. Kleine Fehler können sich über die Zeit anhäufen und schrittweise Instrumentengeometrie oder anatomische Struktur verändern, was zeitliche Konsistenz unerlässlich macht.
Visuelle Realitätsnähe ist daher ein Ausgangspunkt für die Validierung, kein Beweis biomechanischer Genauigkeit. Die generierte Szene muss auch den Steuerbefehlen folgen: Translation, Rotation und Greiferbefehle sollten kohärente anatomische Folgen erzeugen. Ein plausibel aussehender Rollout, der diese Befehle ignoriert, kann nicht als interaktive Umgebung dienen.
Die Aufrechterhaltung dieser Genauigkeit und Reaktionsfähigkeit in einer Live-Steuerungsschleife erfordert eine Generierung mit geringer Latenz. Cosmos3-H-Dreams meistert diese Anforderung durch ein Modell, das speziell für klinische Cholezystektomie spezialisiert und für Echtzeitgenerierung destilliert wurde, und bringt aktionskonditionierte Interaktion in Szenen mit komplexer Anatomie, Gewebebewegung und Verdeckung.
2. Was ist neu in Cosmos3-H-Dreams?
2.1 Ein Cosmos 3-Fundament und reichhaltigere chirurgische Steuerungen
Cosmos3-H-Dreams baut auf Cosmos3-H-Embodied-Nanoauf, einem 16-Milliarden-Parameter-Modell, vortrainiert auf Open-H-Embodiment, und spezialisiert einen bidirektionalen Teacher auf kuratiertem Cholezystektomie-Video und -Kine matik. Die Auswahl der Samples zielt auf zwei sichtbare, aktive Instrumente, einen linken Cadiere-Greifer und einen rechten monopolarlen Haken, und beschränkt Kamerabefehle, um instrumentengetriebene Interaktion zu betonen.
Das Modell verwendet 28 Aktionsdimensionen: Pose- und Greiferinformationen für beide Arme, plus Energiesteuerungen, Thumbstick-Achsen und Thumbstick-Tasten. Das Training verwendet 832 x 480 Video mit Aktionen, ausgerichtet bei 10 Hz; diese Abtastrate unterscheidet sich vom Durchsatz der Laufzeitgenerierung.
2.2 Vom Teacher zu Vier-Schritt- und Zwei-Schritt-Studenten
Cosmos3-H-Dreams kombiniert eine Teacher-Student-Trainingspipeline, die für lange autoregressive Rollouts ausgelegt ist, mit beschleunigter Streaming-Inferenz durch FlashDreams.
Wir passen zunächst den bidirektionalen Teacher auf 24 zukünftige Frames an und erweitern dann den Horizont auf 72 Frames, 2.4 und 7.2 Sekunden bei 10 Hz. Dies gibt dem Teacher längere Sequenzen, über die er chirurgische Dynamiken lernen kann.
Anschließend verwandelt die Destillation den bidirektionalen Teacher in einen kausalen Studenten, der Video in kurzen Blöcken generieren kann, sobald neue Aktionen eintreffen. Causal Teacher Forcing bereitet den Studenten mit aufgezeichnetem Kontext auf die sequenzielle Generierung vor. Self-Forcing trainiert ihn dann auf seinem eigenen generierten Kontext, geführt vom Teacher und einem gelernten Kritiker. Dies hilft, die Anhäufung von Fehlern während interaktiver Rollouts zu adressieren.
Der erste veröffentlichte Student verwendet vier Denoising-Schritte pro generiertem Block. Wir trainieren diesen Studenten dann weiter mit einem Zwei-Schritt-Zeitplan, um den zweiten veröffentlichten Checkpoint zu erzeugen. Das Zwei-Schritt-Modell ist separat trainiert, nicht einfach das Vier-Schritt-Modell mit weniger Sampling-Schritten ausgeführt.
Weniger Denoising-Schritte führen zu einer schnelleren Inferenzzeit auf Kosten einer geringeren visuellen Qualität. Beide Checkpoints ermöglichen es Entwicklern, die Balance zwischen visueller Qualität und Inferenzkosten zu erkunden.
2.3 Streaming durch FlashDreams
FlashDreams liefert die beschleunigte Streaming-Runtime. Lange Rollouts erfordern außerdem die Verwaltung des Aufmerksamkeitsverlaufs des Modells. Die Cosmos3-H-Dreams-Integration verwendet ein angepasstes FadeMem-Modul, das den wachsenden Key/Value-Cache während langer Rollouts konsolidiert. Dies ergänzt Self-Forcing: Die Destillation adressiert, wie das Modell aus seinem generierten Verlauf lernt, während die Cache-Konsolidierung adressiert, wie dieser Verlauf während der Streaming-Generierung gespeichert wird.
3. Erkundung ungesehener Trajektorien
Während eines klinischen Eingriffs kann es zu Komplikationen kommen oder dem Chirurgen bleibt gewisser Spielraum für „neuartige“ Bewegungen. Daher muss ein Simulator in der Lage sein, über die Trainingsdaten hinaus zu generalisieren und kohärente Frames mit ungesehenen Bewegungen zu erzeugen. Die folgenden Demonstrationen zeigen, wie Cosmos3-H-Dreams verschiedene Cholezystektomie-Szenen generiert, die auf mit einem VR-Headset aufgezeichneten Instrumentenaktionen basieren.
Die beiden Videos beginnen mit demselben Anfangsframe, folgen jedoch unterschiedlichen Aktionssequenzen und veranschaulichen, wie die Instrumentensteuerung zu unterschiedlichen Fortsetzungen derselben Szene mit physikalisch genauen Gewebedeformationen führt.
Darüber hinaus ermöglichen uns diese Rollouts zu überprüfen, ob die Instrumente den Steuerungen folgen, ob das Gewebe kohärent auf Interaktion reagiert und ob das Erscheinungsbild von Anatomie und Instrumenten über die Zeit konsistent bleibt.
4. Anpassung an Ihre eigenen Daten und Controller
Cosmos3-H-Dreams umfasst Vier-Schritt- und Zwei-Schritt-Checkpoints für die Cholezystektomie. Das System kann an andere Datensätze und Embodiments mit synchronisiertem Video und kompatiblen Aktionsrepräsentationen angepasst werden. Um ein Echtzeit-Student-Modell auf Ihrem eigenen Datensatz zu trainieren, bieten wir eine vollständige Anleitung für Teacher-Fine-Tuning und Self-Forcing-Destillation in unserem Schritt-für-Schritt-Leitfadenan. Er beschreibt die Datenvorbereitung, öffentlich verfügbare Teacher-Training-Tools und die Destillationsphasen. Controller-Integrationen müssen dieselben Aktionskonventionen und dieselbe Normalisierung wie das Training verwenden.
5. Wie es weitergeht
Der Fortschritt bei der visuellen Realistik eröffnet mehrere Forschungsrichtungen:
- Den vollständigen Eingriff modellieren. Abdeckung und zeitliche Konsistenz ausbauen, sodass alle Phasen der Cholezystektomie systematisch erkundet werden können, mit klaren Aufgaben Grenzen und Erfolgskriterien.
- Generative und numerische Simulation verbinden. Gelernte visuelle Realistik mit expliziter Geometrie, Kontakt- und Gewebemechanik kombinieren. Numerische Modelle und gemessene Daten könnten helfen, Deformationen einzugrenzen und zu validieren, wodurch das Simulationsverhalten sowohl überprüfbar als auch überzeugend wird.
- Mit Chirurgen evaluieren. Anatomische Genauigkeit, Instrumentenverhalten und Gewebereaktion bewerten und Expertenfeedback in reproduzierbare Benchmarks umwandeln.
- Weitere Instrumente unterstützen. Über zwei gesteuerte Werkzeuge hinausgehen zu reicherer Koordination, Okklusion und Interaktion.
- Autonome chirurgische Richtlinien entwickeln. World-Action-Modelle in einer geschlossenen Schleife mit Cosmos3-H-Dreams koppeln, sodass Richtlinien definierte Cholezystektomie-Unteraufgaben lernen können.
Dies sind Forschungsrichtungen, keine etablierten klinischen Fähigkeiten. Cosmos3-H-Dreams ist ein Forschungssimulator, kein validiertes System für die Patientenversorgung. Es bietet eine Grundlage für die Untersuchung chirurgischer Interaktion in einer zunehmend realistischen Umgebung.
6. Legen Sie noch heute los
Erkunden Sie die Modelle, Daten und die Runtime hinter Cosmos3-H-Dreams:
- Cosmos3-H-Dreams-Code und Beispiele: GitHub-Repository
- Cosmos3-H-Dreams-Modell: Hugging Face Checkpoint
- Cosmos3-H-Embodied-Nano: Hugging Face-Modell und GitHub-Repository
- Passe es an deine eigenen Daten an: Schritt-für-Schritt-Anleitung für Teacher-Fine-Tuning und Self-Forcing-Destillation
- Open-H-Embodiment: Hugging Face-Datensatz
- FlashDreams: GitHub-Repository
- NVIDIA Cosmos 3: GitHub-Repository
Bring deine Controller, deine Trajektorien und deine Forschungsfragen mit. Wir freuen uns darauf zu sehen, was die Community in diesen neuen chirurgischen Welten aufbaut.