Meet Google DeepMind’s Genie 4: Real-Time World Model With Native Audio

Google DeepMind hat Genie 4 veröffentlicht als Research Preview für vertrauenswürdige Tester. Das Genie-4-Weltmodell erzeugt erkundbare Welten aus Text- und Bild-Prompts in Echtzeit. Es erzeugt auch die Klanglandschaft: Umgebungsgeräusche, Musik und Charakterdialoge. Nutzer bewegen sich mit Tastatursteuerung und lenken Ereignisse mit Prompts in natürlicher Sprache. Die größere Veränderung ist architektonischer Natur. Ein Gemini-Modell läuft nun als Planner innerhalb der Simulationsschleife. Dieses Muster ist wichtig für alle, die Trainingsumgebungen für Agenten oder Roboter entwickeln.

TL;DR

• Läuft auf: Nur Google-gehostet (Project Genie Web-App, Gemini API Early Access).
• Leistung: Photorealistische Welten mit nativem Audio und Live-Textsteuerung.
• Am besten: Szenenkonsistenz bis zu 2 Minuten, doppelt so lang wie Genie 3, laut TechCrunchs Briefing.
• Am schlechtesten: Sitzungen dauern nur einige Minuten, und Objekte driften nach wiederholten Prompt-Bearbeitungen ab.

Was ist Genie 4?

Genie 4 ist ein Weltmodell von Google DeepMind, das interaktive Umgebungen Bild für Bild simuliert. Es ist kein Video-Clip-Generator. Jedes Bild reagiert auf die Nutzereingabe, sobald sie eintrifft.

DeepMind gibt an, dass das Modell nativ multimodalist. Audio, Musik und Dialoge werden zusammen mit den visuellen Elementen erzeugt. Es ist DeepMinds erstes Echtzeit-Weltmodell, das Audio nativ generiert.

Es ist der Nachfolger von Genie 3, das im August 2025 angekündigt wurde. Genie 3 lief mit 720p und 24 Bildern pro Sekunde, mit einem visuellen Gedächtnis von bis zu 1 Minute zurück.

Wie nutzt Genie 4 Gemini?

Genie 4 greift auf 2 Teile der Gemini-Familie zurück. Gemini Omni verankert das Aussehen und Verhalten jeder Welt. Andere Gemini-Modelle übernehmen das reasoning, das eine Simulation kohärent hält.

Die Runtime-Schleife funktioniert so:

• Interpretieren: Wenn Sie einen Prompt eingeben, passt Gemini ihn an die laufende Szene an.
• Planen: Gemini 3.8 Flash zerlegt ein Ziel in eine Abfolge von Schritten.
• Überprüfen: Es prüft eingehende Frames, um zu bestätigen, dass jeder Schritt erfolgreich war.
• Anpassen: Wenn sich die Welt verändert oder Sie eingreifen, überarbeitet es den Plan.

Zwischen Benutzereingaben steuert Gemini auch die Szene, damit die Welt sich weiterentwickelt. Das DeepMind-Team versteht dies als einen frühen Schritt in Richtung hybrider Weltmodelle. In diesem Entwurf übernimmt ein Sprachmodell Struktur und Erzählung, während Genie Pixel und Klang erzeugt.

Was kann man in einer Genie-4-Welt tun?

• Mit Text steuern: Sie können das Wetter ändern, die Kamera bewegen oder mitten in einer Sitzung eine neue Person oder ein Objekt hinzufügen.
• Physik und Menschen simulieren: DeepMind nennt Aerodynamik und Kollisionen. Die menschliche Bewegung bezeichnet es als den größten Fortschritt, mit Figuren, die auf ihre Umgebung reagieren.
• Die Welt hören: Jede Welt enthält Umgebungsaudio. Figuren können auch Gespräche führen, die in Echtzeit auf Ihre Eingaben reagieren.
• Roboter-Aufgaben testen: In einer Forschungsdemo hat Gemini 4 Argon eine Dame-Aufgabe in Schritte zerlegt. Genie 4 erhielt jeden Schritt als Textbeschreibung und simulierte Apptroniks humanoiden Apollo beim Spielen des Spiels.

Wie schneidet Genie 4 im Vergleich zu anderen Weltmodellen ab?

DeepMind hat keine Benchmark-Tabellen für Genie 4 veröffentlicht. Der folgende Vergleich verwendet ausschließlich offengelegte Spezifikationen aus der jeweiligen Quelle der Projekte.

Wer kann Genie 4 nutzen, und wann?

Genie 4 ist ab heute für vertrauenswürdige Tester live. Laut DeepMind wird es in Kürze für Google AI Ultra-Abonnenten verfügbar sein in Project Genie. Frühe Zugangspartner der Gemini API und von Google AI Studio folgen danach.

Alle Genie-4-Videos und -Audios werden mit SynthID -Wasserzeichen versehen. DeepMind gibt an, vor der Preview interne Sicherheitsbewertungen durchgeführt zu haben.

Die Tester stammen bislang aus Kreativbranchen, Journalismus, Bildung, Gaming und Ingenieurwesen.

Zu den berichteten Nutzungsfällen gehören:

• Filmemacher, die mehrere Live-‘Takes’ für die Pre-Visualization durchführen.
• Fotojournalisten, die aus einem einzelnen Archivfoto eine fundierte Simulation erstellen.
• Spieleentwickler, die Stile und Mechaniken testen, bevor sie Engine-Code schreiben.
• Unternehmenspartner, die Zero-to-One-Simulationsszenarien generieren.

Was sind die Einschränkungen von Genie 4?

DeepMind listet mehrere offene Probleme auf der Genie 4-Modellseite:

• auf: Visuelle Details und Objektpermanenz driften in längeren Sitzungen, nach komplexen Prompt-Bearbeitungen oder während der Navigation.
• Die Interaktion ist auf wenige Minuten beschränkt, nicht auf längere Sitzungen.
• Reale Orte werden nicht mit perfekter Genauigkeit simuliert.
• Lesbarer Text erscheint in der Regel nur, wenn er in der Eingabebeschreibung enthalten ist.
• Echtzeit-Audiogenauigkeit und Multi-Agenten-Interaktionen sind weiterhin ungelöst.

Wichtigste Erkenntnisse

• Genie 4 generiert Welt, Umgebungsaudio und Dialoge gemeinsam, in Echtzeit.
• Gemini 3.8 Flash plant, prüft Frames und plant innerhalb der Schleife neu.
• Zu Parametern, Auflösung, Bildrate oder Benchmarks wurden keine Angaben gemacht.
• Der Zugang beginnt mit vertrauenswürdigen Testern, dann folgen AI Ultra- und Gemini-API-Partner.
• Drift und kurze Sitzungen bleiben die wichtigsten praktischen Grenzen.

Schauen Sie sich die Genie 4 Ankündigungan, die Genie 4 Modellseite und die Project Genie Warteliste. Folgen Sie uns gerne auf Twitter und vergessen Sie nicht, unserem 150k+ML SubReddit beizutreten und unseren Newsletterzu abonnieren. Moment! Sind Sie auf Telegram? jetzt können Sie uns auch auf Telegram beitreten.

Möchten Sie mit uns zusammenarbeiten, um Ihr GitHub-Repo ODER Ihre Hugging Face-Seite ODER Ihr Produktrelease ODER Ihr Webinar usw. zu bewerben? Kontaktieren Sie uns

Der Beitrag Meet Google DeepMind’s Genie 4: Real-Time World Model With Native Audio erschien zuerst auf MarkTechPost.