Google DeepMind kondigt Genie 4-wereldsimulatiemodel aan

Door Raia Hadsell, Diego Rivas en Hang Qi

Google DeepMind heeft Genie 4 aangekondigd, een nieuw wereldmodel dat is ontworpen om realistischere, realtime interactieve simulaties te leveren. Het standaard multimodale systeem kan muziekachtige audio, omgevingsgeluid en interactieve dialoog genereren naast een gesimuleerde wereld.

Genie 4 integreert mogelijkheden uit de Gemini-familie. Gemini Omni verankert simulaties in realistische verschijning en gedrag, terwijl andere Gemini-modellen het redeneren leveren dat nodig is om coherentie en continuïteit te waarborgen. Gebruikers kunnen een gebeurtenis in gang zetten en Genie 4 simuleert wat er vervolgens gebeurt, waaronder hoe de omgeving reageert en klinkt, en hoe mensen bewegen, reageren en spreken.

Google DeepMind zei dat het begrijpen en simuleren van de wereld een belangrijk aspect is van het bouwen van AGI. Het bedrijf zei dat Genie 4 trainingsomgevingen voor robots en agents kan ondersteunen, evenals de ontwikkeling van interactieve ervaringen. In die zin worden wereldmodellen gepositioneerd als tegenhanger van taalmodellen — het ene modelleert hoe omgevingen zich in ruimte en tijd ontvouwen, het andere hoe ideeën en instructies worden uitgedrukt — een combinatie waaraan DeepMind expliciet bouwt met de hieronder beschreven Gemini–Genie-combinatie.

Het bedrijf is begonnen met het uitrollen van Genie 4 als research preview voor vertrouwde testers, terwijl het feedback verzamelt vóór een bredere uitrol naar consumenten en ontwikkelaars. De volgende fase begint met Google AI Ultra-abonnees in Project Genie en early-access partners die de Gemini API en Google AI Studio gebruiken. Een wachtlijst is beschikbaar via Project Genie. De gefaseerde uitrol geeft externe waarnemers ook een gestructureerde manier om de voortgang op de bekende zwakke punten van het model te volgen, zoals consistentie over lange sessies en realtime audio-nauwkeurigheid, vóór de algemene beschikbaarheid.

Genie 4 is ontworpen om verbeterd fotorealisme, vloeiende beweging en native audio te bieden. Google DeepMind zei dat de bijbehorende geluiden in de demonstraties rechtstreeks door het model zijn geproduceerd.

Vier mogelijkheden die Google DeepMind benadrukt

De hieronder beschreven demonstraties tonen realtime interacties waarin gebruikers navigeren en de camera bedienen met standaardtoetsenbordinvoer en scènes sturen met tekstinstructies.

Realtime werelddisimulatie

Genie 4 stelt gebruikers in staat een simulatie aan te passen met instructies in natuurlijke taal, zoals het veranderen van het weer, het verplaatsen van de camera of het toevoegen van een persoon of object. Gemini past de instructie contextueel aan op de omringende scène, terwijl het de omgeving ook monitort en stuurt tussen gebruikersinvoer door, zodat de simulatie coherent doorgaat. Die continue, stuurbare kwaliteit onderscheidt interactieve wereldmodellen van vooraf gerenderde video: de omgeving blijft zich ontwikkelen en reageren, zelfs tussen gebruikersinvoer door.

Eén demonstratie gebruikt een referentiebeeld als exacte eerste frame voor een scène met een zwevend rechthoekig platform, verweerde betonnen randen, wild gras, varens, een verwrongen boompje, een gloeiende amberkleurige bol en een man van middelbare leeftijd in een los bruin pak die een koperen saxofoon bespeelt. De gevraagde visuele stijl is een sterk naturalistische, laagcontrastige documentairescène opgenomen op 16mm-film, met subtiele korrel, gedempte natuurlijke kleuren, verlichte schaduwen, zachte highlights en diffuus bewolkt licht. Het platform zweeft op een rustig meer omringd door mistige bossen, terwijl mist boven het water drijft en de amberkleurige bol zich in het meer weerspiegelt.

De saxofonist blijft in beeld terwijl de camera onafhankelijk over het water beweegt. De instructie vraagt om realistische ademhaling, vingerbewegingen, zacht wiegen van het lichaam, ruimtelijke continuïteit, merrowgeluid (meerambience), wind in de verte, zachte waterbeweging en realistisch saxofoongeluid, zonder achtergrondmuziek verder dan instrumenten die fysiek in de scène aanwezig zijn.

Andere voorbeelden zijn een zonnige heuveltopweide vol hoog groen gras, paarse, witte en gele wilde bloemen, lage struiken en verre blauwgroene heuvels. Een doorlopende stroom glanzend roze satijn loopt in grote S-curves door de weide en golft boven de bloemen als een rivier van zijde.

Een afzonderlijke instructie toont een luchtopname van Antarctica met sneeuwbedekte gletsjers, ruige bergen en blauwe ijsbergen under poolair zonlicht. Luchtballonnen verschijnen op verschillende afstanden, waaronder een grote crème-, rood- en blauwgestreepte ballon. Het gezichtspunt vanuit de eerste persoon is vanuit de gevlochten rieten mand van een ballon, kijkend over de met leer afgezette rand, zwarte gevoerde steunstangen, metalen tuigagekettingen en de donkere basis van de ballonkap.

Fysica en menselijke actie

Google DeepMind zei dat Genie 4 is gebouwd op een geavanceerd begrip van de fysieke wereld en scenario's kan simuleren met aerodynamica, botsingen en andere natuurkundige verschijnselen. Het bedrijf noemde de weergave van mensen een grote sprong voorwaarts: personages bewegen natuurlijk, reageren organisch op hun omgeving en zijn interactief stuurbare in realtime. Fysieke geloofwaardigheid is een centrale maatstaf voor wereldmodellen, omdat het trainen van robots en agents in simulatie ervan afhangt dat gesimuleerde acties realistische gevolgen hebben.

Demonstraties zijn onder meer een glanzende groen gestreepte watermeloen op een verweerde stenen sokkel in een zonnige binnenplaats, met door zonlicht doorlichte waterdruppels in slow motion; een esdoornzaadje dat van een boom in het gras valt; en een druk plattelandsstation in Japan in de jaren tachtig. In de stationscène observeert een spoorwegcontroleur in een donkerblauw uniform reizigers die wachten, lopen, instappen en bagage dragen. Een lange, donkerrode stoptrein neemt het dichtstbijzijnde spoor in beslag, terwijl groene bergen, cederbossen en vochtige zomermist het station omringen. De instructie specificeert een authentieke Japanse sfeer uit de jaren tachtig, 35mm-documentairefotografie, natuurlijk licht, subtiele filmkorrel en een dichte menigte in plaats van een leeg of schaars bevolkt perron.

Native audio en interactieve dialoog

Genie 4 is het eerste realtime wereldmodel van Google DeepMind dat is ontworpen om audio standaard te genereren. De omgevingen kunnen omgevingsspecifieke geluiden bevatten, zoals wind in bomen en golven aan het strand. Native geluidsgeneratie naast beelden is een bepalend kenmerk van realtime wereldmodellen en verwijdert de noodzaak om gegenereerde beelden te koppelen aan apart geproduceerde audio. Het bedrijf benadrukte ook interactieve dialoog, waarbij personages kunnen converseren en reageren op gebruikersinvoer of gebeurtenissen in realtime.

Eén demonstratie vraagt Genie 4 om een volledig driedimensionaal gebrandschilderd glaslandschap te creëren dat kan worden verkend alsof de camera door een reusachtig kristallen raam beweegt. De rivier, het gras, de bloemen, de bomen, de bergen, de wolken, de lucht en de zon zijn allemaal gemaakt van transparant gekleurd glas, donkere loden contouren en gelaagde panelen. De instructie vereist dat de wereld volledig binnen de gebrandschilderde glasstijl blijft, zonder natuurlijke texturen, moderne objecten of gewone realistische oppervlakken.

Een andere demonstratie toont een gezichtspunt vanuit de eerste persoon van een ridder die een gigantische zwarte draak berijdt met 140 km/u door een bergachtig racecircuit. Het gezicht, lichaam en silhouet van de ruiter blijven onzichtbaar; alleen de handen van de ruiter, de nek en bovenrug van de draak, het landschap, andere draken en ruiters, en een kasteel met katapulten zijn zichtbaar. De instructie vraagt om realistische vleugelslagen, wind, motion blur en hoofdbeweging, met audio bestaande uit vleugelslagen, wind op grote hoogte, ver vulkanisch gerommel en knetterende gloed.

Een verder voorbeeld toont twee Koreaanse geliefden in de twintig die bij zonsopgang op een motorfiets over een brug bij Hong Kong rijden, in een onafhankelijke romantische dramafilm uit 1995. De mannelijke bestuurder draagt geen helm, terwijl de vrouwelijke passagier een open gezichtshelm draagt. De scène is gestileerd als een intieme, melancholische 35mm-filmopname met zwarte balken, geringe scherptediepte, oranje straatlantaarns en een donkergroene lucht.

Complexe gebeurtenissen met Gemini-modellen

Google DeepMind zei dat het combineren van Gemini en Genie 4 redeneervaardigheden toevoegt voor complexe, meerstaps gebeurtenissen en het mogelijk maakt AI-systemen te testen in gesimuleerde omgevingen voordat ze in de echte wereld worden gebruikt.

In de realtime-opzet fungeert Gemini 3.8 Flash als begeleidend agent. Terwijl Genie 4 een wereld genereert, observeert Gemini de scène, verdeelt doelen in reeksen stappen, beoordeelt binnenkomende frames en controleert of elke stap is geslaagd. Het kan zijn plan aanpassen wanneer de wereld verandert of de gebruiker ingrijpt, wat causaliteit, procedureel gedrag en meerstapsredeneren ondersteunt.

Voorbeelden zijn onder meer een Universal Robots UR5 die een pipet vasthoudt en vloeistof in een laboratoriumbord doseert, waarbij kleine elektrische vonken ontstaan. Een andere instructie beschrijft een reis vanuit de eerste persoon door een weelderige, benauwde antieke salon. De kijker houdt een gesneden hardhouten en gepolijste messingen toverstok vast, terwijl de ruimte duizenden geglazuurde porseleinen dieren bevat, waaronder pauwen, honden en katten. De gevraagde scène omvat realistische huid- en houttexturen, keramisch glazuur, microscheurtjes in email, stof, filmkorrel, optische lenseffecten, krakende vloerdelen, ademhaling en zacht porseleinengeluid.

Dezelfde reeks omvat een echte goochelaar naast een houten tafel met een open rechthoekige houten kist met een pauw erin. Er wordt gevraagd om natuurlijk licht, realistische acteurs en een prestigieuze moderne televisiedrama-esthetiek, zonder theater, podium, fantasie of CGI-uitstraling. Een andere instructie toont een kronenkraanvogel die in documentairestijl over de sneeuw loopt onder een heldere schemerlucht.

Google DeepMind zei ook dat het heeft geëxperimenteerd met Gemini 4 Argon en Genie 4 in samenwerking met Gemini Robotics. In één voorbeeld splitst Argon een door de gebruiker opgedragen taak in stappen voor Genie om te renderen, waarbij de stappen als tekstbijschriften worden weergegeven terwijl de simulatie vordert. De bedrijven gebruikten Gemini 4 Argon en Genie 4 om Apptroniks Apollo humanoïde dammen te laten spelen via realtime taakopsplitsing.

Feedback van vertrouwde testers

Google DeepMind omschreef Genie 4 als een vroeg, experimenteel model. Het bedrijf heeft gewerkt met vertrouwde testers in creatieve industrieën, journalistiek, onderwijs, gaming en engineering om te begrijpen hoe interactieve wereldmodellen echte workflows kunnen ondersteunen en waar ze verdere ontwikkeling nodig hebben.

Creatieve professionals en technologists testen Genie 4 als een snelle conceptmodus voor previsualisatie en ideevorming. Filmmakers kunnen een live simulatie betreden en meerdere takes draaien terwijl ze camera-hoeken, belichting, dialoog en actie aanpassen. In deze vroege fase dient een live, stuurbare simulatie als een gedeelde conceptruimte waarin camera, geluid en actie samen kunnen worden herzien vóór enige toezegging aan productie.

Fotojournalisten onderzoeken hoe een enkele tweedimensionale archieffoto binnen enkele seconden kan veranderen in een gegronde simulatie van die omgeving. Teams testen ook bevolkte, dynamische werelden voor het ervaren van historische ruimtes en het visualiseren van kortetermijngebeurtenissen zoals plotselinge overstromingen en bosbranden.

Game-ontwikkelaars en creatieve technologists gebruiken instructies in natuurlijke taal om van een eerste idee naar een verkenbaar prototype te gaan, waarbij ze visuele stijlen, materialen en interactieve mechanica testen voordat ze ook maar één regel enginecode schrijven. Zakelijke partners in meerdere industrieën evalueren Genie 4 voor snelle zero-to-one-scènegeneratie en identificeren hiaten in de simulatiemogelijkheden.

Richting hybride wereldmodellen

Google DeepMind zei dat een veelbelovende richting hybride wereldmodellen zijn die het gestructureerde redeneren van code- en taalmodellen combineren met de sensorische weergave van simulatie op pixelniveau. Genie en Gemini dichter bij elkaar brengen is een vroege stap in die richting.

Gemini kan structuur in kaart brengen en een verhaaltijdlijn plannen, terwijl Genie de directe fysieke realiteit genereert, waaronder hoe een wereld eruitziet, klinkt en reageert, pixel voor pixel. Google DeepMind zei dat de combinatie wereldmodellen kan opleveren die coherenter, better controleerbaar en beter gegrond zijn dan elke aanpak afzonderlijk.

Veiligheid en transparantie

Genie 4 combineert realtime generatie met fotorealisme en introduceert nieuwe mogelijkheden die Google DeepMind verantwoord wil uitrollen. Het model bevat veiligheidsmaatregelen die zijn afgestemd op het beleid van het bedrijf voor zijn andere modellen.

Vóór de preview voerde Google DeepMind interne veiligheidsevaluaties uit om het genereren van schadelijke of kwaadaardige inhoud te voorkomen. Het beperkte de toegang aanvankelijk tot vertrouwde testpartners om feedback te verzamelen vóór een bredere uitrol.

Alle video en audio die door Genie 4 wordt gegenereerd, bevat SynthID, Google's onzichtbare digitale watermerktechnologie voor het identificeren van door AI gegenereerde inhoud in visuele en audioformaten. Watermerken pakken een kernvraag van fotorealistische generatie aan: of door AI gemaakte video en audio nog steeds als synthetisch kunnen worden geïdentificeerd zodra ze circuleren.

Huidige beperkingen

Genie 4 blijft een evoluerend onderzoeksproject. Het kan coherente omgevingen behouden tijdens korte sessies, maar visuele details en objectpermanentie kunnen in de loop van de tijd verschuiven, vooral tijdens langere simulaties, na meerdere complexe instructieaanpassingen of wanneer gebruikers uitgebreid door een scène navigeren.

Google DeepMind zei dat complexe fysische interacties, realtime audio-nauwkeurigheid, leesbare tekstrendering, ruimtelijke nauwkeurigheid en langetermijnconsistentie actieve onderzoeksgebieden blijven. Deze open onderzoeksvragen zijn precies wat de gefaseerde uitrol moet onderzoeken, en ze geven vroege gebruikers een concrete checklist om te beoordelen hoe ver interactieve wereldmodellen zijn gegaan van demonstraties naar betrouwbare tools. Het bedrijf brengt Genie 4 uit als preview om samen met de community te leren en interactieve simulatie op gecontroleerde wijze te bevorderen.

Beschikbaarheid

Genie 4 is uitgebracht als research preview voor vertrouwde testers. Het komt beschikbaar voor Google AI Ultra-abonnees in Project Genie en early-access partners die de Gemini API en Google AI Studio gebruiken. De wachtlijst is beschikbaar via Project Genie.

De oorspronkelijke aankondiging is te lezen op de Google DeepMind Blog.

Dankwoord

Google DeepMind bedankte Hang Qi, Diego Rivas, Aleksander Hołyński, Inbar Mosseri, Jack Parker-Holder, Shlomi Fruchter, Tejas Kulkarni, James Assiene, Philip Ball, Jakob Bauer, Eddie Cao, Lucy Chai, Harris Chan, Kleopatra Chatziprimou, Hao Chen, Yoni Choukroun, Mark Collier, Enric Corona, Kurtis David, Ariel Ephrat, Maxime Gazeau, Ruiqi Gao, Chelsee Glover-Odom, Liangke Gui, Swaroop Guntupalli, Shan Han, Tingbo Hou, Jiri Hron, Hui Huang, Drew A. Hudson, Zhouyuan Huo, Linyi Jin, Christos Kaplanis, Dhrupad Karwa, Eunyoung Kim, Congtao Kuang, Eliot Laidlaw, José Lezama, Hao Li, Shuang Li, Yuchen Liu, Hanzi Mao, Mark Matthews, Matt McGill, Kay McKinney, Ricardo Monti, Mark Murphy, Joseph Ortiz, Roni Paiss, Frank Perbet, Ben Poole, Tal Reiss, Konstantinos Rematas, Guy Scully, Jeremy Shar, Shashank Shastry, Sri S, Omer Tov, Ruben Villegas, Andrey Voynov, Hongjie Wang, Luyu Wang, Kaustubh Sridhar, Mo Samsami, Stephen Spencer, Yufei Wang, Will Whitney, Rundi Wu, Joyce (Jingjing) Xie, Jesse Yin, Shiran Zada, Serena Zhang, Xiaofan Zhang, Zhengqi Li, Zhixing Zhang, Yuan Zhong, Shuo-yiin Chang, Dmitry Lagun, Ronny Huang, Yao Su, Ankush Gupta, Genzhi Ye, Haolin Jia, Weiqin Wang, Xi Xiong, Salah Zaiem en Carol Zheng.

Het bedrijf bedankte ook de cross-functionele partners Dina Bashkirova, Emil Bergner, Greta Borisko, Irina Blok, Melissa Byun, Gabe Clapper, Viral Carpenter, Michael Y. Chang, Maximo Cudich-Sieburger, Chloe Doan, Alisa Fortin, Shivani Ghanta, Vikram Gopali, Ezra Gorman, Khyatti Gupta, Sam Hasinoff, Philipp Henzler, Hector Hinestroza, Ed Hirst, Tyler Holland, Kristian Holsheimer, Tiffany Hu, Kapil Joshi, Randeep Katari, Pavan Kumar, Vikhyat Kumeria, Sam Kvaalen, Matthew Levine, Yinxiao Li, Yuchi Liu, Miao Luo, Nick Matarese, Kangfu Mei, Signe Nørly, Moises Oliveira, Eric Paskie, Manika Puri, Susanna Ricco, Andrey Ryabtsev, Cai Schumann, Nicole Brichtova, Andy Sekyere, Grace Shih, Melissa Smith, Duncan Noble Smith, Kenda Stewart, Rod Strougo, Jenn Sturgeon, Amy Zeng, Gaby Pearl, Eleanor Tomlinson, Kenyon Watson, Inês Ayer, Luke Talbot, Han-Yun Tsao, Guillaume Vernade, Karen Wang, Changchang Wu, Ian Wilkinson, Weijuan Xi, Jennifer Yick, Yunhan Zhao, Eric Zhang, Jason Zhang, Annie Zhou, James Zhou, Chris Walker, Alan Yam, Alex Chen, Cliff Lungaretti, Dan Motzenbecker, Kaloyan Kolev, Matthew Carey, Nate Zucker, Sam Lawton, Shashwath Santosh en Suz Chambers.

Google DeepMind bedankte tevens Raia Hadsell, Aäron van den Oord, Josh Woodward, Steve Seitz, Carlos Hernandez, Elias Roman, Jung E. Kim, Abhishek Bapna, Eli Collins, Tulsee Doshi, Carolina Parada, Jie Tan, Koray Kavukcuoglu en Demis Hassabis voor hun begeleiding en steun, evenals de vertrouwde testers en early-access gebruikers die feedback hebben geleverd.