Google DeepMind annuncia Genie 4, il modello di simulazione del mondo

Di Raia Hadsell, Diego Rivas e Hang Qi

Google DeepMind ha annunciato Genie 4, un nuovo modello mondiale progettato per fornire simulazioni interattive in tempo reale più realistiche. Il sistema nativamente multimodale può generare audio simile a musica, suoni ambientali e dialoghi interattivi insieme al mondo simulato.

Genie 4 incorpora capacità della famiglia Gemini. Gemini Omni ancora le simulazioni all'aspetto e al comportamento del mondo reale, mentre altri modelli Gemini forniscono il ragionamento necessario per mantenere coerenza e continuità. Gli utenti possono mettere in moto un evento e Genie 4 simula ciò che accade dopo, inclusa la risposta dell'ambiente, i suoni e il modo in cui le persone si muovono, reagiscono e parlano.

Google DeepMind ha dichiarato che comprendere e simulare il mondo è un aspetto cruciale della costruzione dell'AGI. Ha affermato che Genie 4 potrebbe supportare ambienti di addestramento per robot e agenti, oltre allo sviluppo di esperienze interattive. In questo senso, i modelli mondiali sono posizionati come controparte dei modelli linguistici — uno modella come gli ambienti si svolgono nello spazio e nel tempo, l'altro come idee e istruzioni vengono espresse — un binomio che DeepMind sta esplicitamente costruendo con la combinazione Gemini–Genie descritta di seguito.

L'azienda ha iniziato a distribuire Genie 4 come anteprima di ricerca per tester fidati, raccogliendo feedback prima di un rilascio più ampio a consumatori e sviluppatori. La fase successiva inizierà con gli abbonati Google AI Ultra in Project Genie e con i partner in accesso anticipato che usano la Gemini API e Google AI Studio. Una lista d'attesa è disponibile tramite Project Genie. Il rilascio graduale offre anche agli osservatori esterni un modo strutturato per seguire i progressi sui punti deboli noti del modello, come la coerenza in sessioni lunghe e l'accuratezza dell'audio in tempo reale, prima della disponibilità generale.

Genie 4 è progettato per fornire fotorealismo avanzato, movimenti fluidi e audio nativo. Google DeepMind ha dichiarato che i suoni accompagnati nelle dimostrazioni sono stati prodotti direttamente dal modello.

Le quattro capacità evidenziate da Google DeepMind

Le dimostrazioni descritte di seguito mostrano interazioni in tempo reale in cui gli utenti navigano e controllano la telecamera con input da tastiera standard e guidano le scene con prompt testuali.

Simulazione del mondo in tempo reale

Genie 4 consente di modificare una simulazione con istruzioni in linguaggio naturale, come cambiare il meteo, muovere la telecamera o aggiungere una persona o un oggetto. Gemini adatta il prompt alla scena circostante, monitorando e guidando inoltre l'ambiente tra gli input dell'utente affinché la simulazione proseguia in modo coerente. È questa qualità continua e pilotabile a distinguere i modelli mondiali interattivi dal video pre-renderizzato: l'ambiente continua a evolversi e a rispondere anche tra un input e l'altro.

Una dimostrazione utilizza un'immagine di riferimento come primo fotogramma esatto di una scena con una piattaforma rettangolare fluttuante, bordi di cemento weathered, erbe selvatiche, felci, un piccolo albero contorto, una sfera ambrata luminosa e un uomo di mezza età in un vestito marrone ampio che suona un sassofono in ottone. Lo stile visivo richiesto è una scena documentaristica altamente naturalistica e a basso contrasto, girata su pellicola 16mm, con grana sottile, colori naturali attenuati, ombre schiarite, alte luci delicate e luce diffusa coperta. La piattaforma fluttua su un lago tranquillo circondato da foreste nebbiose, mentre la nebbia deriva sull'acqua e la sfera ambrata si riflette sul lago.

Il sassofonista rimane in campo mentre la telecamera si muove autonomamente sull'acqua. Il prompt richiede respiro realistico, movimenti delle dita, un'ondeggiare delicato del corpo, continuità spaziale, atmosfera lacustre, vento lontano, morbido movimento dell'acqua e audio realistico di sassofono, senza musica di sottofondo oltre agli strumenti fisicamente presenti nella scena.

Altri esempi includono un prato soleggiato su una collina con erba alta, fiori selvatici viola, bianchi e gialli, arbusti bassi e colline azzurro-verdi in lontananza. Un flusso continuo di raso rosa caramella lucido serpeggia nel prato in ampie curve a S, gonfiandosi sopra i fiori come un fiume di seta.

Un prompt separato raffigura una vista aerea dell'Antartide con ghiacciai innevati, montagne frastagliate e iceberg blu sotto la luce polare. Mongolfiere appaiono a diverse distanze, inclusa una grande mongolfiera a strisce crema, rosse e blu. La vista in prima persona proviene dall'interno della vimini di una mongolfiera, guardando oltre il bordo rifinito in pelle, i pali di supporto imbottiti neri, le catene di metallo e la base scura della vela.

Fisica e azione umana

Google DeepMind ha dichiarato che Genie 4 è costruito su una comprensione fisica avanzata del mondo e può simulare scenari che coinvolgono aerodinamica, collisioni e altre fisiche reali. L'azienda ha descritto il trattamento delle persone come un avanzamento significativo, affermando che i personaggi possono muoversi naturalmente, reagire all'ambiente ed essere guidati interattivamente in tempo reale. La plausibilità fisica è un benchmark centrale per i modelli mondiali, perché l'addestramento di robot e agenti in simulazione dipende da azioni simulate che producono conseguenze realistiche.

Le dimostrazioni includono un'anguria lucida a strisce verdi su un piedistallo di pietra in un cortile soleggiato, con goccioline aeree controilluminati in slow motion; un seme d'acero che cade da un albero sull'erba; e una affollata stazione ferroviaria rurale giapponese degli anni '80. Nella scena della stazione, un ispettore ferroviario in uniforme blu scuro osserva passeggeri in attesa, che camminano, salgono e portano bagagli. Un lungo treno locale rosso scuro occupa il binario più vicino, mentre montagne verdi, foreste di cedri e foschia estiva umida circondano la stazione. Il prompt specifica un'autentica atmosfera giapponese anni '80, fotografia documentaristica su 35mm, luce naturale, grana sottile e una folla densa anziché una piattaforma vuota oamente popolata.

Audio nativo e dialogo interattivo

Genie 4 è il primo modello mondiale in tempo reale di Google DeepMind progettato per generare audio in modo nativo. I suoi ambienti possono includere suoni specifici del contesto, come il vento tra gli alberi e le onde sulla spiaggia. La generazione nativa di suono insieme alle immagini è un tratto distintivo dei modelli mondiali in tempo reale, eliminando la necessità di associare filmati generati ad audio prodotto separatamente. L'azienda ha evidenziato anche il dialogo interattivo, con personaggi in grado di conversare e rispondere a input dell'utente o eventi in tempo reale.

Una dimostrazione chiede a Genie 4 di creare un paesaggio tridimensionale in vetro colorato esplorabile come se la telecamera si muovesse attraverso un'enorme finestra di cristallo. Il fiume, l'erba, i fiori, gli alberi, le montagne, le nuvole, il cielo e il sole sono tutti realizzati in vetro colorato traslucido, contorni di piombo scuro e pannelli stratificati. Il prompt richiede che il mondo rimanga interamente nello stile del vetro colorato, senza texture naturali, oggetti moderni o superfici ordinarie del mondo reale.

Un'altra dimostrazione presenta una vista in prima persona di un cavaliere che cavalca un enorme drago nero a 140 km/h lungo un circuito di gara montano. Il viso, il corpo e la silhouette del cavaliere restano invisibili; sono visibili solo le mani del cavaliere, il collo e la parte superiore della schiena del drago, il paesaggio, altri draghi e cavalieri, e un castello con catapulte. Il prompt richiede battiti d'ala realistici, vento, motion blur e movimento della testa, con audio composto da battiti d'ala, vento in quota, brontolio vulcanico lontano e braci crepitanti.

Un ulteriore esempio raffigura due giovani amanti coreani sui vent'anni in moto su un ponte vicino a Hong Kong all'alba, in un dramma romantico indipendente del 1995. Il conducente maschile non indossa il casco, mentre la passeggera femminile porta un casco open-face. La scena è inquadrata come un film intimo e melanconico su 35mm con barre nere, messa a fuoco ridotta, lampioni arancioni e un cielo verde scuro.

Eventi complessi con i modelli Gemini

Google DeepMind ha dichiarato che combinare Gemini e Genie 4 aggiunge ragionamento per eventi complessi a più fasi e consente di testare sistemi di IA in ambienti simulati prima di utilizzarli nel mondo reale.

Nel setup in tempo reale, Gemini 3.8 Flash funge da agente guida nel loop: mentre Genie 4 genera un mondo, Gemini osserva la scena, suddivide gli obiettivi in sequenze di passaggi, esamina i frame in arrivo e verifica se ogni passaggio è riuscito. Può adattare il piano quando il mondo cambia o l'utente interviene, supportando causalità, comportamenti procedurali e ragionamento multi-fase.

Esempi includono un Universal Robots UR5 che impugna una pipetta e dispensa liquido in una piastra di laboratorio, generando piccole scintille elettriche. Un altro prompt descrive un viaggio in prima persona attraverso un sontuoso e claustrofobico salotto d'antiquariato. L'osservatore impugna una bacchetta in legno intagliato e ottone lucido, mentre la stanza contiene migliaia di animali in porcellana smaltata, tra cui pavoni, cani e gatti. La scena richiesta include texture realistiche di pelle e legno, smalto ceramico, micro-cricche nello smalto, polvere, grana della pellicola, effetti ottici delle lenti, pavimenti che scricchiolano, respiro e suoni lievi di porcellana.

La stessa sequenza include un vero mago accanto a un tavolo di legno alto con una scatola rettangolare aperta contenente un pavone. Richiede luce naturale, attori realistici e un'estetica da prestigioso dramma televisivo moderno, senza teatro, palcoscenico, fantasy o aspetto CGI. Un altro prompt mostra una gru coronata che cammina sulla neve sotto un cielo limpido al tramonto, in stile documentario.

Google DeepMind ha inoltre dichiarato di aver sperimentato con Gemini 4 Argon e Genie 4 in collaborazione con Gemini Robotics. In un esempio, Argon scompone un compito indicato dall'utente in passaggi per Genie da renderizzare, mostrando i passaggi come didascalie testuali mentre la simulazione procede. Le aziende hanno usato Gemini 4 Argon e Genie 4 per simulare l'umanoide Apollo di Apptronik che gioca a dama attraverso la scomposizione del compito in tempo reale.

Feedback dai tester fidati

Google DeepMind ha descritto Genie 4 come un modello sperimentale in fase iniziale. Ha lavorato con tester fidati nelle industrie creative, nel giornalismo, nell'educazione, nel gaming e nell'ingegneria per capire come i modelli mondiali interattivi possano supportare flussi di lavoro reali e dove necessitino di ulteriore sviluppo.

I creativi e i tecnologici stanno testando Genie 4 come modalità di bozza rapida per previsualizzazione e ideazione. I registi possono entrare in una simulazione dal vivo e girare più riprese modificando al volo angoli di ripresa, illuminazione, dialoghi e azione. In questa fase iniziale, una simulazione dal vivo e pilotabile funge da spazio di bozza condiviso in cui camera, suono e azione possono essere rivisti insieme prima di qualsiasi impegno produttivo.

I fotogiornalisti stanno esplorando come una singola fotografia d'archivio bidimensionale possa diventare in pochi secondi una simulazione concreta del suo ambiente. I team stanno testando anche mondi popolati e dinamici per vivere spazi storici e visualizzare eventi ambientali a breve termine come alluvioni improvvise e incendi boschivi.

Gli sviluppatori di giochi e i creative technologist usano prompt in linguaggio naturale per passare da un'idea iniziale a un prototipo esplorabile, testando stili visivi, estetiche dei materiali e meccaniche interattive prima di scrivere una singola riga di codice engine. Partner enterprise di più settori stanno valutando Genie 4 per la generazione rapida di scenari "zero-to-one" e per identificare lacune nelle sue capacità di simulazione.

Verso modelli mondiali ibridi

Google DeepMind ha dichiarato che una direzione promettente sono i modelli mondiali ibridi, che combinano il ragionamento strutturato di codice e modelli linguistici con la rappresentazione sensoriale della simulazione a livello di pixel. Avvicinare Genie e Gemini è un primo passo in questa direzione.

Gemini può mappare la struttura e pianificare la timeline narrativa, mentre Genie genera la realtà fisica immediata, includendo come un mondo appare, suona e risponde pixel per pixel. Google DeepMind ha affermato che la combinazione potrebbe produrre modelli mondiali più coerenti, controllabili e ancorati di quanto ciascun approccio possa ottenere da solo.

Sicurezza e trasparenza

Genie 4 combina generazione in tempo reale e fotorealismo e introduce nuove capacità che Google DeepMind ha dichiarato di voler distribuire in modo responsabile. Il modello include guardrail di sicurezza allineati alle politiche aziendali per gli altri modelli.

Prima dell'anteprima, Google DeepMind ha condotto valutazioni di sicurezza interne rigorose volte a prevenire la generazione di contenuti dannosi o malevoli. Ha inizialmente limitato l'accesso ai partner tester fidati per raccogliere feedback prima di un rilascio più ampio.

Tutti i video e gli audio generati da Genie 4 includeranno SynthID, la tecnologia di watermarking digitale impercettibile di Google per identificare contenuti generati dall'IA nei formati visivi e audio. Il watermarking affronta una domanda centrale per la generazione fotorealistica: se video e audio creati dall'IA possano ancora essere identificati come sintetici una volta in circolazione.

Limitazioni attuali

Genie 4 rimane un progetto di ricerca in evoluzione. Può mantenere ambienti coerenti in sessioni brevi, ma i dettagli visivi e la permanenza degli oggetti possono variare nel tempo, in particolare durante simulazioni più lunghe, dopo molteplici modifiche complesse ai prompt o quando gli utenti navigano ampiamente nella scena.

Google DeepMind ha dichiarato che le interazioni fisiche complesse, l'accuratezza dell'audio in tempo reale, la resa di testo leggibile, l'accuratezza spaziale e la coerenza a lungo termine restano aree di ricerca attive. Queste aree aperte sono ciò che il rilascio graduale è progettato per sondare, e offrono ai primi utenti una lista concreta per giudicare quanto i modelli mondiali interattivi si siano allontanati dalle dimostrazioni verso strumenti affidabili. L'azienda sta rilasciando Genie 4 come anteprima per imparare insieme alla comunità mentre avanza la simulazione interattiva in modo controllato.

Disponibilità

Genie 4 è stato rilasciato come anteprima di ricerca per tester fidati. Sta per arrivare agli abbonati Google AI Ultra in Project Genie e ai partner in accesso anticipato che usano la Gemini API e Google AI Studio. La lista d'attesa è disponibile tramite Project Genie.

L'annuncio originale è disponibile sul blog di Google DeepMind.

Riconoscimenti

Google DeepMind ha ringraziato Hang Qi, Diego Rivas, Aleksander Hołyński, Inbar Mosseri, Jack Parker-Holder, Shlomi Fruchter, Tejas Kulkarni, James Assiene, Philip Ball, Jakob Bauer, Eddie Cao, Lucy Chai, Harris Chan, Kleopatra Chatziprimou, Hao Chen, Yoni Choukroun, Mark Collier, Enric Corona, Kurtis David, Ariel Ephrat, Maxime Gazeau, Ruiqi Gao, Chelsee Glover-Odom, Liangke Gui, Swaroop Guntupalli, Shan Han, Tingbo Hou, Jiri Hron, Hui Huang, Drew A. Hudson, Zhouyuan Huo, Linyi Jin, Christos Kaplanis, Dhrupad Karwa, Eunyoung Kim, Congtao Kuang, Eliot Laidlaw, José Lezama, Hao Li, Shuang Li, Yuchen Liu, Hanzi Mao, Mark Matthews, Matt McGill, Kay McKinney, Ricardo Monti, Mark Murphy, Joseph Ortiz, Roni Paiss, Frank Perbet, Ben Poole, Tal Reiss, Konstantinos Rematas, Guy Scully, Jeremy Shar, Shashank Shastry, Sri S, Omer Tov, Ruben Villegas, Andrey Voynov, Hongjie Wang, Luyu Wang, Kaustubh Sridhar, Mo Samsami, Stephen Spencer, Yufei Wang, Will Whitney, Rundi Wu, Joyce (Jingjing) Xie, Jesse Yin, Shiran Zada, Serena Zhang, Xiaofan Zhang, Zhengqi Li, Zhixing Zhang, Yuan Zhong, Shuo-yiin Chang, Dmitry Lagun, Ronny Huang, Yao Su, Ankush Gupta, Genzhi Ye, Haolin Jia, Weiqin Wang, Xi Xiong, Salah Zaiem e Carol Zheng.

L'azienda ha inoltre ringraziato i partner cross-funzionali Dina Bashkirova, Emil Bergner, Greta Borisko, Irina Blok, Melissa Byun, Gabe Clapper, Viral Carpenter, Michael Y. Chang, Maximo Cudich-Sieburger, Chloe Doan, Alisa Fortin, Shivani Ghanta, Vikram Gopali, Ezra Gorman, Khyatti Gupta, Sam Hasinoff, Philipp Henzler, Hector Hinestroza, Ed Hirst, Tyler Holland, Kristian Holsheimer, Tiffany Hu, Kapil Joshi, Randeep Katari, Pavan Kumar, Vikhyat Kumeria, Sam Kvaalen, Matthew Levine, Yinxiao Li, Yuchi Liu, Miao Luo, Nick Matarese, Kangfu Mei, Signe Nørly, Moises Oliveira, Eric Paskie, Manika Puri, Susanna Ricco, Andrey Ryabtsev, Cai Schumann, Nicole Brichtova, Andy Sekyere, Grace Shih, Melissa Smith, Duncan Noble Smith, Kenda Stewart, Rod Strougo, Jenn Sturgeon, Amy Zeng, Gaby Pearl, Eleanor Tomlinson, Kenyon Watson, Inês Ayer, Luke Talbot, Han-Yun Tsao, Guillaume Vernade, Karen Wang, Changchang Wu, Ian Wilkinson, Weijuan Xi, Jennifer Yick, Yunhan Zhao, Eric Zhang, Jason Zhang, Annie Zhou, James Zhou, Chris Walker, Alan Yam, Alex Chen, Cliff Lungaretti, Dan Motzenbecker, Kaloyan Kolev, Matthew Carey, Nate Zucker, Sam Lawton, Shashwath Santosh e Suz Chambers.

Google DeepMind ha infine ringraziato Raia Hadsell, Aäron van den Oord, Josh Woodward, Steve Seitz, Carlos Hernandez, Elias Roman, Jung E. Kim, Abhishek Bapna, Eli Collins, Tulsee Doshi, Carolina Parada, Jie Tan, Koray Kavukcuoglu e Demis Hassabis per la loro guida e il loro supporto, oltre ai tester fidati e agli utenti in accesso anticipato che hanno fornito feedback.