Google DeepMind kündigt Genie 4, ein Welt-Simulationsmodell, an

Von Raia Hadsell, Diego Rivas und Hang Qi

Google DeepMind hat Genie 4 vorgestellt, ein neues Weltmodell, das realistischere, interaktive Echtzeitsimulationen liefern soll. Das nativ multimodale System kann musikähnliche Audiodateien, Umgebungsgeräusche und interaktive Dialoge gemeinsam mit einer simulierten Welt erzeugen.

Genie 4 integriert Fähigkeiten der Gemini-Familie. Gemini Omni verankert Simulationen im Erscheinungsbild und Verhalten der realen Welt, während andere Gemini-Modelle das Reasoning bereitstellen, das zur Aufrechterhaltung von Kohärenz und Kontinuität erforderlich ist. Nutzer können ein Ereignis in Gang setzen, und Genie 4 simuliert, was anschließend geschieht – darunter, wie die Umgebung reagiert und klingt und wie sich Menschen bewegen, verhalten und äußern.

Google DeepMind erklärte, das Verstehen und Simulieren der Welt sei ein wichtiger Aspekt beim Aufbau von AGI. Genie 4 könne Trainingsumgebungen für Roboter und Agenten unterstützen sowie die Entwicklung interaktiver Erlebnisse vorantreiben. In diesem Sinne werden Weltmodelle als Gegenstück zu Sprachmodellen positioniert – die einen modellieren, wie sich Umgebungen in Raum und Zeit entfalten, die anderen, wie Ideen und Anweisungen ausgedrückt werden – eine Kombination, auf die DeepMind mit der unten beschriebenen Gemini-Genie-Verbindung ausdrücklich zusteuert.

Das Unternehmen hat begonnen, Genie 4 als Forschungsvorschau an vertrauenswürdige Tester auszurollen, während Feedback für eine breitere Veröffentlichung an Verbraucher und Entwickler gesammelt wird. Die nächste Phase beginnt mit Google AI Ultra-Abonnenten in Project Genie sowie Early-Access-Partnern, die die Gemini API und Google AI Studio nutzen. Eine Warteliste ist über Project Genie verfügbar. Der gestaffelte Rollout verschafft externen Beobachtern zudem eine strukturierte Möglichkeit, den Fortschritt bei bekannten Schwachstellen des Modells – etwa Konsistenz über lange Sitzungen und Echtzeit-Audiogenauigkeit – vor der allgemeinen Verfügbarkeit zu verfolgen.

Genie 4 soll verbesserten Fotorealismus, flüssige Bewegungen und natives Audio bieten. Google DeepMind zufolge wurden die Begleitklänge in den Demonstrationen direkt vom Modell erzeugt.

Vier von Google DeepMind hervorgehobene Fähigkeiten

Die unten beschriebenen Demonstrationen zeigen Echtzeit-Interaktionen, bei denen Nutzer mit Standard-Tastatureingaben navigieren und die Kamera steuern sowie Szenen mit Textprompts lenken.

Echtzeit-Weltsimulation

Mit Genie 4 lassen sich Simulationen per natürlichsprachlicher Anweisungen verändern – etwa das Wetter ändern, die Kamera bewegen oder eine Person oder ein Objekt hinzufügen. Gemini passt den Prompt an die umgebende Szene an und überwacht und steuert die Umgebung auch zwischen Nutzereingaben, damit die Simulation kohärent weiterläuft. Diese kontinuierliche, steuerbare Qualität unterscheidet interaktive Weltmodelle von vorgerendertem Video: Die Umgebung entwickelt sich auch zwischen Nutzereingaben weiter und reagiert auf diese.

Eine Demonstration nutzt ein Referenzbild als exakten ersten Frame für eine Szene mit einer schwebenden rechteckigen Plattform, verwitterten Betonkanten, wildem Gras, Farnen, einem gedrehten kleinen Baum, einer leuchtenden bernsteinfarbenen Kugel und einem mittelalten Mann in lockerem braunem Anzug, der ein Blechsaxophon spielt. Der gewünschte visuelle Stil ist eine hochgradig naturalistische, kontrastarme Dokumentarszene, aufgenommen auf 16-mm-Film, mit feinem Korn, gedämpften Naturfarben, aufgehellten Schatten, sanften Glanzlichtern und diffusem bedecktem Licht. Die Plattform schwebt auf einem stillen See, umgeben von nebligen Wäldern, während Nebel über dem Wasser zieht und die Bernsteinkugel sich im See spiegelt.

Der Saxophonspieler bleibt im Bild, während die Kamera unabhängig über das Wasser gleitet. Der Prompt verlangt realistisches Atmen, Fingerbewegungen, sanftes Wiegen des Körpers, räumliche Kontinuität, See-Ambiente, entfernten Wind, leise Wasserbewegung und realistischen Saxophonklang – ohne Hintergrundmusik jenseits der physisch in der Szene vorhandenen Instrumente.

Weitere Beispiele umfassen eine sonnige Hügelwiese mit hohem grünem Gras, violetten, weißen und gelben Wildblumen, niedrigen Sträuchern und entfernt liegenden blaugrünen Hügeln. Ein durchgehender Strom glänzender, bubblegumrosa Satinstoffe zieht sich in weit geschwungenen S-Kurven durch die Wiese und wogt über den Blumen wie ein Fluss aus Seide.

Ein separater Prompt zeigt eine Luftaufnahme der Antarktis mit schneebedeckten Gletschern, gezackten Bergen und blauen Eisbergen im polaren Sonnenlicht. Heißluftballons erscheinen in unterschiedlichen Entfernungen, darunter ein großer cremefarbener, rot und blau gestreifter Ballon. Die Ich-Perspektive blickt aus dem geflochtenen Weidenkorb eines Ballons über dessen lederverkleideten Rand, schwarze gepolsterte Stützpfeiler, Metallverspannungsketten und den dunklen unteren Bereich der Ballonhülle.

Physik und menschliche Aktionen

Google DeepMind zufolge basiert Genie 4 auf einem fortgeschrittenen physikalischen Weltverständnis und kann Szenarien mit Aerodynamik, Kollisionen und anderen realen Physikphänomenen simulieren. Die Darstellung von Menschen bezeichnete das Unternehmen als großen Fortschritt: Figuren könnten sich natürlich bewegen, auf ihre Umgebung reagieren und in Echtzeit interaktiv gesteuert werden. Physikalische Plausibilität ist ein zentraler Maßstab für Weltmodelle, da das Training von Robotern und Agenten in Simulation davon abhängt, dass simulierte Aktionen realistische Konsequenzen erzeugen.

Zu den Demonstrationen gehören eine glänzende, grün gestreifte Wassermelone auf einer verwitterten Steinplinthe in einem sonnigen Innenhof, wobei Tröpfchen in der Luft im Zeitlupentempo im Gegenlicht schweben; ein Ahornsaamen, der von einem Baum ins Gras fällt; und ein überfüllter ländlicher japanischer Bahnhof in den 1980er Jahren. In der Bahnhofsszene beobachtet ein Bahninspektor in dunkelblauer Uniform Passagiere, die warten, gehen, einsteigen und Gepäck tragen. Ein langer, tiefroter Regionalzug belegt das nächstgelegene Gleis, während grüne Berge, Zedernwälder und schwüle Sommerluft den Bahnhof umgeben. Der Prompt legt eine authentische japanische Atmosphäre der 1980er Jahre fest, 35-mm-Dokumentarfilmfotografie, natürliches Licht, feines Filmkorn und eine dichte Menschenmenge statt eines leeren oder spärlich bevölkerten Bahnsteigs.

Natives Audio und interaktive Dialoge

Genie 4 ist DeepMinds erstes Echtzeit-Weltmodell, das Audio nativ erzeugen kann. Seine Umgebungen können ortspezifische Klänge enthalten, etwa Wind in Bäumen oder Wellen am Strand. Die native Klangerzeugung neben Bildern ist ein kennzeichnendes Merkmal von Echtzeit-Weltmodellen und macht eine Kombination aus generiertem Material und separat produziertem Audio überflüssig. Das Unternehmen hob zudem interaktive Dialoge hervor, bei denen Figuren in Echtzeit konversieren und auf Nutzereingaben oder Ereignisse reagieren können.

Eine Demonstration lässt Genie 4 eine vollständig dreidimensionale Glasmalerei-Landschaft erschaffen, die sich erkunden lässt, als bewege sich die Kamera durch ein riesiges Kristallfenster. Fluss, Gras, Blumen, Bäume, Berge, Wolken, Himmel und Sonne bestehen jeweils aus farbigem, transparentem Glas, dunklen Bleilinien und geschichteten Panels. Der Prompt verlangt, dass die Welt vollständig im Stil der Glasmalerei bleibt – ohne natürliche Texturen, moderne Objekte oder gewöhnliche reale Oberflächen.

Eine weitere Demonstration zeigt die Ich-Perspektive eines Ritters, der auf einem gigantischen schwarzen Drachen mit 140 km/h über einen bergigen Rennkurs reitet. Gesicht, Körper und Silhouette des Reiters bleiben unsichtbar; nur seine Hände, Hals und Rücken des Drachen, die Landschaft, andere Drachen und Reiter sowie eine Burg mit Katapulten sind sichtbar. Der Prompt fordert realistische Flügelschläge, Wind, Bewegungsunschärfe und Kopfbewegung, mit Audio aus Flügelschlägen, Wind in großer Höhe, fernen vulkanischen Geräuschen und knisternden Funken.

Ein weiteres Beispiel zeigt zwei koreanische Liebende Anfang zwanzig, die in einem Independent-Liebesfilm von 1995 im Morgengrauen mit einem Motorrad über eine Brücke bei Hongkong fahren. Der männliche Fahrer trägt keinen Helm, die weibliche Mitfahrerin einen offenen Helm. Die Szene ist als intimer, melancholischer 35-mm-Film inszeniert – mit schwarzen Balken, geringer Schärfentiefe, orangefarbenen Straßenlaternen und dunkelgrünem Himmel.

Komplexe Ereignisse mit Gemini-Modellen

Google DeepMind erklärte, die Kombination aus Gemini und Genie 4 füge der Welt-Simulation Reasoning für komplexe, mehrstufige Ereignisse hinzu und ermögliche es, KI-Systeme in simulierten Umgebungen zu testen, bevor sie in der realen Welt eingesetzt werden.

Im Echtzeit-Setup fungiert Gemini 3.8 Flash als führender Agent: Während Genie 4 eine Welt in Echtzeit erzeugt, beobachtet Gemini die Szene, unterteilt Ziele in Schrittfolgen, prüft eingehende Frames und kontrolliert, ob jeder Schritt erfolgreich war. Bei Änderungen der Welt oder Nutzereingriffen kann Gemini seinen Plan anpassen – dies unterstützt Kausalität, prozedurales Verhalten und mehrstufiges Reasoning.

Beispiele umfassen einen Universal Robots UR5, der eine Pipette hält und Flüssigkeit in eine Laborplatte dosiert, wodurch winzige elektrische Funken ausgelöst werden. Ein weiterer Prompt beschreibt eine Ich-Perspektive durch einen prächtigen, beklemmenden antiken Salon. Der Betrachter hält einen geschnitzten, aus Hartholz gefertigten und polierten Messing-Zauberstab, während der Raum tausende glasierte Porzellantiere enthält, darunter Pfauen, Hunde und Katzen. Die gewünschte Szene umfasst realistische Haut- und Holztexturen, Keramikglasur, haarrissige Emaile, Staub, Filmkorn, optische Linseneffekte, knarrende Dielen, Atmen und leise Porzellanklänge.

Dieselbe Sequenz enthält einen echten Magier neben einem hohen Holztisch mit einer offenen rechteckigen Holzkiste, in der ein Pfau steht. Gefordert werden natürliches Licht, realistische Darsteller und eine angesehene moderne TV-Drama-Ästhetik – ohne Theater, Bühne, Fantasy oder CGI-Anmutung. Ein weiterer Prompt zeigt einen Kronenkranich, der im Dokumentarstil über Schnee unter einem klaren Abendhimmel geht.

Google DeepMind teilte zudem mit, in Zusammenarbeit mit Gemini Robotics mit Gemini 4 Argon und Genie 4 zu experimentieren. In einem Beispiel zerlegt Argon eine vom Nutzer vorgegebene Aufgabe in Schritte, die Genie rendert; diese Schritte werden als Textbeschriftungen an Genie 4 übermittelt, während die Simulation läuft. Da Genie 4 mithilfe von Gemini in Echtzeit per Textbeschriftungen gesteuert werden kann, eröffnet dies nun die Möglichkeit, die Simulation während ihrer Ausführung auf den Abschluss der Aufgabe hin anzupassen. Das Unternehmen nutzte Gemini 4 Argon und Genie 4, um Apptroniks Apollo-Humanoiden beim Spielen von Dame zu simulieren – mit Echtzeit-Zerlegung der Aufgabe.

Feedback von vertrauenswürdigen Testern

Google DeepMind beschrieb Genie 4 als frühes, experimentelles Modell. Das Unternehmen arbeitet mit vertrauenswürdigen Testern aus Kreativbranchen, Journalismus, Bildung, Gaming und Technik zusammen, um zu verstehen, wie interaktive Weltmodelle reale Workflows unterstützen können und wo sie sich noch weiterentwickeln müssen.

Kreative und Technologen testen Genie 4 als schnellen Entwurfsmodus für Previsualisierung und Ideenfindung. Filmemacher können in eine Live-Simulation eintreten und mehrere „Takes“ in Echtzeit drehen, während sie Kamerawinkel, Licht, Dialoge und Handlung anpassen. In dieser frühen Phase dient eine live steuerbare Simulation als gemeinsamer Entwurfsraum, in dem Kamera, Klang und Handlung gemeinsam überarbeitet werden können, bevor eine Festlegung auf eine Produktion erfolgt.

Fotojournalisten untersuchen, wie eine einzelne zweidimensionale Archivaufnahme in Sekunden zu einer fundierten Simulation ihrer Umgebung werden kann. Teams testen außerdem bevölkerte, dynamische Welten, um historische Räume zu erleben oder kurzfristige Ereignisse wie Sturzfluten und Waldbrände zu visualisieren.

Game-Entwickler und kreative Technologen nutzen natürlichsprachliche Prompts, um von einer ersten Idee zu einem erkundbaren Prototyp zu gelangen – und testen visuelle Stile, Materialästhetik und interaktive Mechaniken, bevor sie eine einzige Zeile Engine-Code schreiben. Unternehmenspartner aus verschiedenen Branchen prüfen Genie 4 als Werkzeug für schnelle Zero-to-One-Szenarienerstellung und identifizieren Lücken in seinen Simulationsfähigkeiten.

Auf dem Weg zu hybriden Weltmodellen

Google DeepMind zufolge liegt ein vielversprechender Weg in hybriden Weltmodellen, die das strukturierte Reasoning von Code- und Sprachmodellen mit der sensorischen Repräsentation einer Simulation auf Pixelebene verbinden. Genie und Gemini enger zusammenzuführen ist ein früher Schritt in diese Richtung.

Gemini kann Struktur abbilden und eine narrative Zeitlinie planen, während Genie die unmittelbare physische Realität erzeugt – darunter, wie eine Welt Pixel für Pixel aussieht, klingt und reagiert. Google DeepMind erklärte, die Kombination könne Weltmodelle hervorbringen, die deutlich kohärenter, kontrollierbarer und erdiger sind als jeder der beiden Ansätze allein.

Sicherheit und Transparenz

Genie 4 vereint Echtzeitgenerierung mit Fotorealismus und führt neue Fähigkeiten ein, die Google DeepMind verantwortungsvoll ausrollen und erforschen möchte. Das Modell enthält strenge Sicherheitsvorkehrungen, die mit den Unternehmensrichtlinien für andere Modelle übereinstimmen.

Vor der Vorschau führte Google DeepMind interne, strenge Sicherheitsevaluationen durch, um die Erzeugung schädlicher oder bösartiger Inhalte zu verhindern. Der Zugang wurde zunächst auf vertrauenswürdige Testpartner beschränkt, um vor einer breiteren Veröffentlichung Feedback zu sammeln.

Alle von Genie 4 erzeugten Videos und Audiodateien enthalten SynthID, Googles unsichtbare digitale Wasserzeichen-Technologie zur Identifizierung KI-generierter Inhalte in visuellen und auditiven Formaten. Die Wasserzeichen adressieren eine Kernfrage des fotorealistischen Generierens: ob KI-erstelltes Video und Audio auch nach seiner Verbreitung noch als synthetisch erkennbar ist.

Aktuelle Einschränkungen

Genie 4 bleibt ein sich entwickelndes Forschungsvorhaben. Über kurze Sitzungen hinweg kann es kohärente Umgebungen aufrechterhalten, doch visuelle Details und die Beständigkeit von Objekten können sich im Zeitverlauf verschieben – insbesondere bei längeren Simulationen, nach mehreren komplexen Prompt-Bearbeitungen oder bei ausgedehkter Navigation durch eine Szene.

Google DeepMind erklärte, komplexe physikalische Interaktionen, Echtzeit-Audiogenauigkeit, lesbarer Text-Rendering, räumliche Genauigkeit und langfristige Konsistenz blieben aktive Forschungsfelder. Diese offenen Forschungsbereiche sind das Ziel des gestaffelten Rollouts und geben frühen Nutzern eine konkrete Checkliste, um einzuschätzen, wie weit interaktive Weltmodelle von Demonstrationen zu verlässlichen Werkzeugen gereift sind. Das Unternehmen veröffentlicht Genie 4 als Vorschau, um gemeinsam mit der Community zu lernen und interaktive Simulation kontrolliert voranzutreiben.

Verfügbarkeit

Genie 4 wurde als Forschungsvorschau für vertrauenswürdige Tester veröffentlicht. Es folgt die Bereitstellung für Google AI Ultra-Abonnenten in Project Genie sowie Early-Access-Partner mit der Gemini API und Google AI Studio. Die Warteliste ist über Project Genie verfügbar.

Die ursprüngliche Ankündigung ist im Google DeepMind Blog abrufbar.

Danksagungen

Google DeepMind dankte Hang Qi, Diego Rivas, Aleksander Hołyński, Inbar Mosseri, Jack Parker-Holder, Shlomi Fruchter, Tejas Kulkarni, James Assiene, Philip Ball, Jakob Bauer, Eddie Cao, Lucy Chai, Harris Chan, Kleopatra Chatziprimou, Hao Chen, Yoni Choukroun, Mark Collier, Enric Corona, Kurtis David, Ariel Ephrat, Maxime Gazeau, Ruiqi Gao, Chelsee Glover-Odom, Liangke Gui, Swaroop Guntupalli, Shan Han, Tingbo Hou, Jiri Hron, Hui Huang, Drew A. Hudson, Zhouyuan Huo, Linyi Jin, Christos Kaplanis, Dhrupad Karwa, Eunyoung Kim, Congtao Kuang, Eliot Laidlaw, José Lezama, Hao Li, Shuang Li, Yuchen Liu, Hanzi Mao, Mark Matthews, Matt McGill, Kay McKinney, Ricardo Monti, Mark Murphy, Joseph Ortiz, Roni Paiss, Frank Perbet, Ben Poole, Tal Reiss, Konstantinos Rematas, Guy Scully, Jeremy Shar, Shashank Shastry, Sri S, Omer Tov, Ruben Villegas, Andrey Voynov, Hongjie Wang, Luyu Wang, Kaustubh Sridhar, Mo Samsami, Stephen Spencer, Yufei Wang, Will Whitney, Rundi Wu, Joyce (Jingjing) Xie, Jesse Yin, Shiran Zada, Serena Zhang, Xiaofan Zhang, Zhengqi Li, Zhixing Zhang, Yuan Zhong, Shuo-yiin Chang, Dmitry Lagun, Ronny Huang, Yao Su, Ankush Gupta, Genzhi Ye, Haolin Jia, Weiqin Wang, Xi Xiong, Salah Zaiem und Carol Zheng.

Dem Unternehmen dankten zudem die funktionsübergreifenden Partner Dina Bashkirova, Emil Bergner, Greta Borisko, Irina Blok, Melissa Byun, Gabe Clapper, Viral Carpenter, Michael Y. Chang, Maximo Cudich-Sieburger, Chloe Doan, Alisa Fortin, Shivani Ghanta, Vikram Gopali, Ezra Gorman, Khyatti Gupta, Sam Hasinoff, Philipp Henzler, Hector Hinestroza, Ed Hirst, Tyler Holland, Kristian Holsheimer, Tiffany Hu, Kapil Joshi, Randeep Katari, Pavan Kumar, Vikhyat Kumeria, Sam Kvaalen, Matthew Levine, Yinxiao Li, Yuchi Liu, Miao Luo, Nick Matarese, Kangfu Mei, Signe Nørly, Moises Oliveira, Eric Paskie, Manika Puri, Susanna Ricco, Andrey Ryabtsev, Cai Schumann, Nicole Brichtova, Andy Sekyere, Grace Shih, Melissa Smith, Duncan Noble Smith, Kenda Stewart, Rod Strougo, Jenn Sturgeon, Amy Zeng, Gaby Pearl, Eleanor Tomlinson, Kenyon Watson, Inês Ayer, Luke Talbot, Han-Yun Tsao, Guillaume Vernade, Karen Wang, Changchang Wu, Ian Wilkinson, Weijuan Xi, Jennifer Yick, Yunhan Zhao, Eric Zhang, Jason Zhang, Annie Zhou, James Zhou, Chris Walker, Alan Yam, Alex Chen, Cliff Lungaretti, Dan Motzenbecker, Kaloyan Kolev, Matthew Carey, Nate Zucker, Sam Lawton, Shashwath Santosh und Suz Chambers.

Google DeepMind dankte außerdem Raia Hadsell, Aäron van den Oord, Josh Woodward, Steve Seitz, Carlos Hernandez, Elias Roman, Jung E. Kim, Abhishek Bapna, Eli Collins, Tulsee Doshi, Carolina Parada, Jie Tan, Koray Kavukcuoglu und Demis Hassabis für ihre Beratung und Unterstützung sowie den vertrauenswürdigen Testern und Early-Access-Nutzern für ihr Feedback.