Google DeepMind annonce Genie 4, un modèle de simulation de mondes

Par Raia Hadsell, Diego Rivas et Hang Qi

Google DeepMind a annoncé Genie 4, un nouveau modèle de monde conçu pour offrir des simulations interactives en temps réel plus réalistes. Ce système nativement multimodal peut générer des sons de type musique, des bruits ambiants et des dialogues interactifs en même temps qu'un monde simulé.

Genie 4 intègre les capacités de la famille Gemini. Gemini Omni ancre les simulations dans une apparence et un comportement du monde réel, tandis que d'autres modèles Gemini fournissent le raisonnement nécessaire au maintien de la cohérence et de la continuité. Les utilisateurs peuvent déclencher un événement et Genie 4 simule ce qui se passe ensuite : comment l'environnement réagit et sonne, et comment les personnes bougent, réagissent et parlent.

Google DeepMind a indiqué que comprendre et simuler le monde est un aspect essentiel de la construction de l'AGI. Selon l'entreprise, Genie 4 pourrait soutenir des environnements d'entraînement pour robots et agents ainsi que le développement d'expériences interactives. En ce sens, les modèles de monde sont positionnés comme un pendant des modèles de langage — l'un modélisant la façon dont les environnements se déploient dans l'espace et le temps, l'autre la façon dont les idées et les instructions s'expriment — un duo que DeepMind construit explicitement avec la combinaison Gemini–Genie détaillée ci-dessous.

L'entreprise a commencé à déployer Genie 4 en aperçu de recherche auprès de testeurs de confiance, tout en recueillant des retours avant une diffusion plus large aux consommateurs et aux développeurs. La prochaine phase débutera avec les abonnés Google AI Ultra dans Project Genie et les partenaires en accès anticipé utilisant l'API Gemini et Google AI Studio. Une liste d'attente est disponible via Project Genie. Ce déploiement progressif offre aussi aux observateurs externes un moyen structuré de suivre les progrès sur les points faibles connus du modèle, comme la cohérence sur les longues sessions et la précision audio en temps réel, avant la disponibilité générale.

Genie 4 est conçu pour offrir un photoréalisme renforcé, des mouvements fluides et un audio natif. Google DeepMind a précisé que les sons accompagnant ses démonstrations étaient produits directement par le modèle.

Quatre capacités mises en avant par Google DeepMind

Les démonstrations décrites ci-dessous montrent des interactions en temps réel dans lesquelles les utilisateurs naviguent et contrôlent la caméra avec des entrées clavier standard et guident les scènes via des prompts textuels.

Simulation de mondes en temps réel

Genie 4 permet de modifier une simulation via des instructions en langage naturel, comme changer la météo, déplacer la caméra ou ajouter une personne ou un objet. Gemini adapte le prompt à la scène environnante, tout en surveillant et en orientant l'environnement entre les entrées utilisateur afin que la simulation reste cohérente. Ce caractère continu et pilotable distingue les modèles de monde interactifs des vidéos pré-rendues : l'environnement continue d'évoluer et de réagir même entre les entrées utilisateur.

Une démonstration utilise une image de référence comme première image exacte d'une scène comprenant une plateforme rectangulaire flottante, des bords de béton patinés, des herbes sauvages, des fougères, un petit arbre tortueux, une sphère ambrée lumineuse et un homme d'âge mûr en costume brun ample jouant du saxophone. Le style visuel demandé est une scène documentaire très naturaliste, à faible contraste, filmée en 16 mm, avec un grain subtil, des couleurs naturelles douces, des ombres relevées, des hautes lumières délicates et une lumière diffuse et couverte. La plateforme flotte sur un lac paisible entouré de forêts brumeuses, tandis que le brouillard dérive au-dessus de l'eau et que la sphère ambrée s'y reflète.

Le saxophoniste reste dans le champ tandis que la caméra se déplace de manière indépendante au-dessus de l'eau. Le prompt demande une respiration réaliste, des mouvements de doigts, une légère oscillation du corps, une continuité spatiale, une ambiance de lac, un vent lointain, un léger mouvement de l'eau et un son de saxophone réaliste, sans musique de fond autre que les instruments physiquement présents dans la scène.

D'autres exemples incluent une prairie ensoleillée au sommet d'une colline, remplie d'herbes hautes, de fleurs sauvages violettes, blanches et jaunes, de buissons bas et de collines bleu-vert au loin. Un long ruban continu de satin rose vif et brillant serpente dans la prairie en courbes en S amples, ondulant au-dessus des fleurs comme un fleuve de soie.

Un autre prompt décrit une vue aérienne de l'Antarctique avec des glaciers enneigés, des montagnes déchiquetées et des icebergs bleus sous le soleil polaire. Des montgolfières apparaissent à différentes distances, dont une grande montgolfière rayée crème, rouge et bleu. La vue à la première personne se trouve depuis l'intérieur de la nacelle en osier tressé d'une montgolfière, regardant par-dessus son rebord garni de cuir, les poteaux de support rembourrés noirs, les chaînes de gréement métalliques et la base sombre de l'enveloppe.

Physique et actions humaines

Google DeepMind a indiqué que Genie 4 repose sur une compréhension physique avancée du monde et peut simuler des scénarios impliquant l'aérodynamique, les collisions et d'autres physiques du monde réel. L'entreprise a décrit son traitement des personnes comme une avancée majeure, affirmant que les personnages peuvent bouger naturellement, réagir à leur environnement et être pilotés de manière interactive en temps réel. La vraisemblance physique est un critère central pour les modèles de monde, car l'entraînement de robots et d'agents en simulation dépend de la production de conséquences réalistes par les actions simulées.

Les démonstrations incluent une pastille pastèque rayée de vert brillant posée sur un socle de pierre patiné dans une cour ensoleillée, avec des gouttelettes en plein contre-jour au ralenti ; une graine d'érable tombant d'un arbre dans l'herbe ; et une gare rurale japonaise bondée dans les années 1980. Dans la scène de gare, un contrôleur ferroviaire en uniforme bleu marine foncé observe des passagers attendant, marchant, montant à bord et portant des bagages. Un long train régional rouge foncé occupe la voie la plus proche, tandis que des montagnes verdoyantes, des forêts de cèdres et une brume estivale humide entourent la gare. Le prompt spécifie une atmosphère japonaise authentique des années 1980, une photographie documentaire en 35 mm, un éclairage naturel, un grain de film subtil et une foule dense plutôt qu'un quai vide ou peu peuplé.

Audio natif et dialogues interactifs

Genie 4 est le premier modèle de monde temps réel de Google DeepMind conçu pour générer nativement l'audio. Ses environnements peuvent inclure des sons propres au décor, comme le vent dans les arbres ou les vagues sur une plage. La génération native du son aux côtés des images est un trait déterminant des modèles de monde temps réel, supprimant le besoin d'associer des séquences générées à un audio produit séparément. L'entreprise a également mis en avant le dialogue interactif, avec des personnages capables de converser et de répondre aux entrées utilisateur ou aux événements du monde en temps réel.

Une démonstration demande à Genie 4 de créer un paysage tridimensionnel en vitrail entièrement immersif, explorable comme si la caméra se déplaçait dans un immense vitrail de cristal. La rivière, l'herbe, les fleurs, les arbres, les montagnes, les nuages, le ciel et le soleil sont tous faits de verre coloré translucide, de contours de plomb sombres et de panneaux superposés. Le prompt exige que le monde reste entièrement dans le style vitrail, sans textures naturelles, objets modernes ni surfaces réalistes ordinaires.

Une autre démonstration présente une vue à la première personne d'un chevalier chevauchant un gigantesque dragon noir à 140 km/h sur un circuit de course montagneux. Le visage, le corps et la silhouette du cavalier restent invisibles ; seules ses mains, le cou et le haut du dos du dragon, le paysage, d'autres dragons et cavaliers, et un château muni de catapultes sont visibles. Le prompt demande des battements d'ailes réalistes, du vent, du flou de mouvement et des mouvements de tête, avec un audio composé de battements d'ailes, de vents en haute altitude, d'un lointain grondement volcanique et de braises crépitantes.

Un autre exemple dépeint deux amoureux coréens dans la vingtaine chevauchant une moto sur un pont près de Hong Kong à l'aube, dans un drame romantique indépendant de 1995. Le conducteur ne porte pas de casque, tandis que la passatrice au teint pâle porte un casque jetable. La scène est cadrée comme un film intimiste et mélancolique en 35 mm, avec des barres noires, une faible profondeur de champ, des lampadaires orange et un ciel vert sombre.

Événements complexes avec les modèles Gemini

Google DeepMind a indiqué que la combinaison de Gemini et Genie 4 ajoute un raisonnement pour les événements complexes en plusieurs étapes et permet de tester des systèmes d'IA dans des environnements simulés avant leur usage dans le monde réel.

Dans cette configuration temps réel, Gemini 3.8 Flash agit comme un agent guide. Alors que Genie 4 génère un monde, Gemini observe la scène, décompose les objectifs en séquences d'étapes, examine les images entrantes et vérifie si chaque étape a réussi. Il peut adapter son plan lorsque le monde change ou que l'utilisateur intervient, prenant en charge la causalité, les comportements procéduraux et le raisonnement en plusieurs étapes.

Les exemples incluent un Universal Robots UR5 tenant une pipette et distribuant du liquide dans une plaque de laboratoire, déclenchant de minuscules étincelles électriques. Un autre prompt décrit un parcours à la première personne dans un salon ancien opulent et étouffant. Le spectateur tient une baguette de magicien en bois sculpté et laiton poli, tandis que la pièce contient des milliers d'animaux en porcelaine vernie, dont des paons, des chiens et des chats. La scène demandée inclut des textures réalistes de peau et de bois, des glaçures céramiques, des micro-fissures d'émail, de la poussière, du grain de film, des effets optiques, des planchers qui craquent, une respiration et de faibles sons de porcelaine.

La même séquence inclut un vrai magicien à côté d'une haute table en bois avec un coffret rectangulaire ouvert contenant un paon. Elle exige un éclairage naturel, des acteurs réalistes et une esthétique de série télévisée moderne prestigieuse, sans théâtre, scène, fantaisie ni apparence CGI. Un autre prompt montre une grue couronnée marchant sur la neige sous un ciel crépusculaire dégagé, dans un style documentaire.

Google DeepMind a également déclaré expérimenter Gemini 4 Argon et Genie 4 en collaboration avec Gemini Robotics. Dans un exemple, Argon décompose une tâche demandée par l'utilisateur en étapes pour que Genie les rende, les étapes étant affichées comme légendes textuelles au fur et à mesure de la simulation. Les équipes ont utilisé Gemini 4 Argon et Genie 4 pour simuler l'humanoïde Apollo d'Apptronik jouant aux dames grâce à une décomposition des tâches en temps réel.

Retours des testeurs de confiance

Google DeepMind a décrit Genie 4 comme un modèle précoce et expérimental. L'entreprise travaille avec des testeurs de confiance dans les industries créatives, le journalisme, l'éducation, le jeu vidéo et l'ingénierie pour comprendre comment les modèles de monde interactifs peuvent soutenir des flux de travail réels et où ils doivent encore progresser.

Les professionnels créatifs et technologues testent Genie 4 comme un mode « brouillon » rapide pour la prévisualisation et l'idéation. Les réalisateurs peuvent entrer dans une simulation en direct et exécuter plusieurs prises en modulant à la volée les angles de caméra, l'éclairage, les dialogues et l'action. Dans cette phase précoce, une simulation en direct et pilotable sert d'espace de brouillon partagé où caméra, son et action peuvent être révisés ensemble avant tout engagement de production.

Les photojournalistes explorent comment une seule photographie d'archive bidimensionnelle peut devenir une simulation ancrée de son environnement en quelques secondes. Les équipes testent également des mondes peuplés et dynamiques pour vivre des espaces historiques ou visualiser des événements environnementaux de courte durée, comme des crues éclair ou des incendies de forêt.

Les développeurs de jeux et les technologues créatifs utilisent des prompts en langage naturel pour passer d'une idée initiale à un prototype explorable, testant styles visuels, matériaux et mécaniques interactives avant d'écrire la moindre ligne de code moteur. Des partenaires d'entreprise de plusieurs secteurs évaluent Genie 4 pour une génération rapide de scénarios « zéro à un » et identifient les lacunes de ses capacités de simulation.

Vers des modèles de monde hybrides

Google DeepMind a indiqué qu'une direction prometteuse réside dans les modèles de monde hybrides, qui combinent le raisonnement structuré des modèles de code et de langage avec la représentation sensorielle de la simulation au niveau des pixels. Rapprocher Genie et Gemini constitue un premier pas dans cette direction.

Gemini peut cartographier la structure et planifier une chronologie narrative, tandis que Genie génère la réalité physique immédiate, y compris l'apparence, le son et les réactions du monde, pixel par pixel. Google DeepMind a indiqué que cette combinaison pourrait produire des modèles de monde plus cohérents, plus contrôlables et mieux ancrés que l'une ou l'autre approche seule.

Sécurité et transparence

Genie 4 associe génération en temps réel et photoréalisme et introduit de nouvelles capacités que Google DeepMind entend déployer de manière responsable. Le modèle inclut des garde-fous de sécurité alignés sur les politiques de l'entreprise pour ses autres modèles.

Avant l'aperçu, Google DeepMind a mené des évaluations de sécurité internes rigoureuses destinées à empêcher la génération de contenus nuisibles ou malveillants. L'accès a d'abord été limité aux partenaires testeurs de confiance afin de recueillir des retours avant une diffusion plus large.

Toutes les vidéos et tous les contenus audio générés par Genie 4 incluront SynthID, la technologie de filigrane numérique imperceptible de Google permettant d'identifier les contenus générés par IA dans les formats visuels et audio. Le filigrane répond à une question centrale pour la génération photoréaliste : savoir si les vidéos et audios créés par IA peuvent encore être identifiés comme synthétiques une fois diffusés.

Limitations actuelles

Genie 4 reste un projet de recherche en évolution. Il peut maintenir des environnements cohérents lors de sessions courtes, mais les détails visuels et la permanence des objets peuvent se déplacer ou dériver avec le temps, en particulier lors de simulations plus longues, après de multiples éditions complexes de prompts ou lorsque les utilisateurs naviguent longuement dans une scène.

Google DeepMind a indiqué que les interactions physiques complexes, la précision audio en temps réel, le rendu de texte lisible, la précision spatiale et la cohérence à long terme restent des axes de recherche actifs. Ces domaines ouverts sont précisément ce que le déploiement progressif vise à sonder, et ils offrent aux premiers utilisateurs une liste concrète pour juger de la distance parcourue par les modèles de monde interactifs entre démonstrations et outils fiables. L'entreprise publie Genie 4 en aperçu pour apprendre aux côtés de la communauté tout en faisant progresser la simulation interactive de manière contrôlée.

Disponibilité

Genie 4 a été publié en aperçu de recherche pour les testeurs de confiance. Il arrivera prochainement auprès des abonnés Google AI Ultra dans Project Genie et des partenaires en accès anticipé utilisant l'API Gemini et Google AI Studio. La liste d'attente est disponible via Project Genie.

L'annonce originale est disponible sur le blog Google DeepMind.

Remerciements

Google DeepMind a crédité Hang Qi, Diego Rivas, Aleksander Hołyński, Inbar Mosseri, Jack Parker-Holder, Shlomi Fruchter, Tejas Kulkarni, James Assiene, Philip Ball, Jakob Bauer, Eddie Cao, Lucy Chai, Harris Chan, Kleopatra Chatziprimou, Hao Chen, Yoni Choukroun, Mark Collier, Enric Corona, Kurtis David, Ariel Ephrat, Maxime Gazeau, Ruiqi Gao, Chelsee Glover-Odom, Liangke Gui, Swaroop Guntupalli, Shan Han, Tingbo Hou, Jiri Hron, Hui Huang, Drew A. Hudson, Zhouyuan Huo, Linyi Jin, Christos Kaplanis, Dhrupad Karwa, Eunyoung Kim, Congtao Kuang, Eliot Laidlaw, José Lezama, Hao Li, Shuang Li, Yuchen Liu, Hanzi Mao, Mark Matthews, Matt McGill, Kay McKinney, Ricardo Monti, Mark Murphy, Joseph Ortiz, Roni Paiss, Frank Perbet, Ben Poole, Tal Reiss, Konstantinos Rematas, Guy Scully, Jeremy Shar, Shashank Shastry, Sri S, Omer Tov, Ruben Villegas, Andrey Voynov, Hongjie Wang, Luyu Wang, Kaustubh Sridhar, Mo Samsami, Stephen Spencer, Yufei Wang, Will Whitney, Rundi Wu, Joyce (Jingjing) Xie, Jesse Yin, Shiran Zada, Serena Zhang, Xiaofan Zhang, Zhengqi Li, Zhixing Zhang, Yuan Zhong, Shuo-yiin Chang, Dmitry Lagun, Ronny Huang, Yao Su, Ankush Gupta, Genzhi Ye, Haolin Jia, Weiqin Wang, Xi Xiong, Salah Zaiem et Carol Zheng.

L'entreprise a également remercié les partenaires transverses Dina Bashkirova, Emil Bergner, Greta Borisko, Irina Blok, Melissa Byun, Gabe Clapper, Viral Carpenter, Michael Y. Chang, Maximo Cudich-Sieburger, Chloe Doan, Alisa Fortin, Shivani Ghanta, Vikram Gopali, Ezra Gorman, Khyatti Gupta, Sam Hasinoff, Philipp Henzler, Hector Hinestroza, Ed Hirst, Tyler Holland, Kristian Holsheimer, Tiffany Hu, Kapil Joshi, Randeep Katari, Pavan Kumar, Vikhyat Kumeria, Sam Kvaalen, Matthew Levine, Yinxiao Li, Yuchi Liu, Miao Luo, Nick Matarese, Kangfu Mei, Signe Nørly, Moises Oliveira, Eric Paskie, Manika Puri, Susanna Ricco, Andrey Ryabtsev, Cai Schumann, Nicole Brichtova, Andy Sekyere, Grace Shih, Melissa Smith, Duncan Noble Smith, Kenda Stewart, Rod Strougo, Jenn Sturgeon, Amy Zeng, Gaby Pearl, Eleanor Tomlinson, Kenyon Watson, Inês Ayer, Luke Talbot, Han-Yun Tsao, Guillaume Vernade, Karen Wang, Changchang Wu, Ian Wilkinson, Weijuan Xi, Jennifer Yick, Yunhan Zhao, Eric Zhang, Jason Zhang, Annie Zhou, James Zhou, Chris Walker, Alan Yam, Alex Chen, Cliff Lungaretti, Dan Motzenbecker, Kaloyan Kolev, Matthew Carey, Nate Zucker, Sam Lawton, Shashwath Santosh et Suz Chambers.

Google DeepMind a également remercié Raia Hadsell, Aäron van den Oord, Josh Woodward, Steve Seitz, Carlos Hernandez, Elias Roman, Jung E. Kim, Abhishek Bapna, Eli Collins, Tulsee Doshi, Carolina Parada, Jie Tan, Koray Kavukcuoglu et Demis Hassabis pour leurs conseils et leur soutien, ainsi que les testeurs de confiance et les utilisateurs en accès anticipé qui ont fourni des retours.