Google DeepMind ogłasza model symulacji świata Genie 4

Autorzy: Raia Hadsell, Diego Rivas i Hang Qi

Google DeepMind ogłosił Genie 4, nowy model świata zaprojektowany do dostarczania bardziej realistycznych symulacji interaktywnych w czasie rzeczywistym. Natywnie multimodalny system może generować audio przypominające muzykę, dźwięki otoczenia i interaktywny dialog wraz z symulowanym światem.

Genie 4 wykorzystuje możliwości rodziny Gemini. Gemini Omni zakotwicza symulacje w realistycznym wyglądzie i zachowaniu, podczas gdy inne modele Gemini dostarczają rozumowania potrzebnego do zachowania spójności i ciągłości. Użytkownik może uruchomić zdarzenie, a Genie 4 symuluje, co wydarzy się dalej — w tym jak reaguje otoczenie, jak brzmi oraz jak ludzie się poruszają, reagują i mówią.

Google DeepMind stwierdził, że rozumienie i symulowanie świata jest ważnym aspektem budowy AGI. Według firmy Genie 4 może wspierać środowiska treningowe dla robotów i agentów oraz rozwój doświadczeń interaktywnych. W tym sensie modele świata są pozycjonowane jako odpowiednik modeli językowych — jedne modelują, jak otoczenie rozwija się w przestrzeni i czasie, drugie, jak wyrażane są idee i instrukcje — i właśnie takie połączenie DeepMind buduje poprzez parę Gemini–Genie, opisaną poniżej.

Firma rozpoczęła udostępnianie Genie 4 jako podglądu badawczego zaufanym testerom, zbierając opinie przed szerszym wydaniem dla konsumentów i deweloperów. Następny etap obejmie subskrybentów Google AI Ultra w ramach Project Genie oraz partnerów z wczesnym dostępem korzystających z Gemini API i Google AI Studio. Lista oczekujących jest dostępna przez Project Genie. Etapowe wdrażanie daje także obserwatorom ustrukturyzowany sposób śledzenia postępów w znanych słabych punktach modelu, takich jak spójność długich sesji i dokładność audio w czasie rzeczywistym, przed ogólną dostępnością.

Genie 4 ma zapewniać wzmocniony fotorealizm, płynny ruch i natywne audio. Google DeepMind powiedział, że dźwięki towarzyszące demonstracjom zostały wygenerowane bezpośrednio przez model.

Cztery możliwości wyróżnione przez Google DeepMind

Poniższe demonstracje pokazują interakcje w czasie rzeczywistym, w których użytkownicy nawigują i sterują kamerą za pomocą standardowej klawiatury, a sceny prowadzą promptami tekstowymi.

Symulacja świata w czasie rzeczywistym

Genie 4 pozwala modyfikować symulację instrukcjami w języku naturalnym, np. zmianą pogody, przesunięciem kamery czy dodaniem osoby lub obiektu. Gemini dopasowuje prompt do otaczającej sceny, a między poleceniami użytkownika monitoruje i prowadzi otoczenie, aby symulacja pozostawała spójna. Ta ciągła, sterowalna cecha odróżnia interaktywne modele świata od wcześniej renderowanego wideo: środowisko rozwija się i reaguje nawet między poleceniami użytkownika.

Jedna z demonstracji wykorzystuje obraz referencyjny jako dokładnie pierwszą klatkę sceny z unoszącą się prostokątną platformą, zwietrzałymi krawędziami betonu, dzikimi trawami, paprociami, powykręcanym małym drzewem, świecącą bursztynową kulą i mężczyzną w średnim wieku w luźnym brązowym garniturze grającym na saksofonie. Żądany styl wizualny to wysoce naturalistyczna, nisko kontrastowa scena dokumentalna nakręcona na taśmie 16 mm, z subtelnym ziarnem, stonowanymi kolorami, podbitymi cieniami, delikatnymi światłami i rozproszonym, pochmurnym światłem. Platforma unosi się nad cichym jeziorem otoczonym mglistymi lasami, nad wodą unosi się mgła, a bursztynowa kula odbija się w tafli jeziora.

Saksofonista pozostaje w kadrze, gdy kamera niezależnie porusza się nad wodą. Prompt przewiduje realistyczny oddech, ruchy palców, delikatne kołysanie ciała, ciągłość przestrzenną, ambient jeziora, odległy wiatr, delikatny ruch wody i realistyczne brzmienie saksofonu — bez muzyki w tle poza instrumentami fizycznie obecnymi w scenie.

Inne przykłady obejmują nasłonecznioną łąkę na wzgórzu, wypełnioną wysoką zieloną trawą, fioletowymi, białymi i żółtymi kwiatami, niskimi krzewami i odległymi niebiesko-zielonymi wzgórzami. Ciągły strumień błyszczącego różowego satyny owija się przez łąkę w rozległych esownicach, unosi się nad kwiatami jak rzeka jedwabiu.

Osobny prompt przedstawia widok z powietrza na Antarktydę ze śnieżnymi lodowcami, poszarpanymi górami i błękitnymi górami lodowymi w polarnym słońcu. Na horyzoncie pojawiają się balony na ogrzane powietrze w różnych odległościach, w tym duży balon w kremowo-czerwono-niebieskie paski. Widok z pierwszej osoby prowadzony jest z wnętrza plecionej wiklinowej gondoli, przez krawędź wyściełaną skórą, czarne podpierające słupki, metalowe liny i ciemną podstawę powłoki balonu.

Fizyka i działania człowieka

Google DeepMind stwierdził, że Genie 4 opiera się na zaawansowanym rozumieniu fizyki świata i może symulować scenariusze obejmujące aerodynamikę, kolizje i inne zjawiska fizyczne. Firma opisała odwzorowanie ludzi jako istotny postęp — postacie poruszają się naturalnie, reagują na otoczenie i mogą być interaktywnie prowadzone w czasie rzeczywistym. Fizyczna wiarygodność jest kluczowym miernikiem dla modeli świata, ponieważ trenowanie robotów i agentów w symulacji zależy od tego, czy symulowane działania dają realistyczne konsekwencje.

Demonstracje obejmują błyszczącego arbuz z zielonymi paskami na zwietrzałym kamiennym cokole w nasłonecznionym dziedzińcu, z zawieszonymi w powietrzu kroplami podświetlonymi w zwolnionym tempie; nasiono klonu spadające z drzewa na trawę; oraz zatłoczoną wiejską japońską stację kolejową z lat 80. Na scenie stacji inspektor kolejowy w ciemnogranatowym mundurze obserwuje pasażerów czekających, spacerujących, wsiadających i niosących bagaże. Długi, ciemnoczerwony pociąg podmiejski zajmuje najbliższy tor, a wokół stacji rozciągają się zielone góry, lasy cedrowe i wilgotna letnia mgiełka. Prompt przewiduje autentyczną atmosferę Japonii lat 80., fotografię dokumentalną 35 mm, naturalne światło, subtelne ziarno filmowe i gęsty tłum zamiast pustego lub słabo zaludnionego peronu.

Natywne audio i interaktywny dialog

Genie 4 to pierwszy model świata czasu rzeczywistego Google DeepMind zaprojektowany do natywnego generowania dźwięku. Środowiska mogą zawierać dźwięki właściwe dla danej scenerii, takie jak wiatr w drzewach czy fale na plaży. Natywna generacja dźwięku wraz z obrazem to definiująca cecha modeli świata czasu rzeczywistego, eliminująca potrzebę łączenia wygenerowanego materiału z osobno produkowanym audio. Firma podkreśliła także interaktywny dialog — postacie mogą rozmawiać i reagować na polecenia użytkownika lub zdarzenia w świecie w czasie rzeczywistym.

Jedna z demonstracji polega na stworzeniu w pełni trójwymiarowego krajobrazu z witraży, który można eksplorować tak, jakby kamera poruszała się przez gigantyczne kryształowe okno. Rzeka, trawa, kwiaty, drzewa, góry, chmury, niebo i słońce są wykonane z przezroczystego kolorowego szkła, ciemnych ołowianych konturów i warstwowych paneli. Prompt wymaga, aby świat pozostał całkowicie w stylu witrażowym, bez naturalnych tekstur, nowoczesnych obiektów ani zwykłych realistycznych powierzchni.

Inna demonstracja przedstawia widok z pierwszej osoby z rycerza jadącego gigantycznego czarnego smoka z prędkością 140 km/h przez górski tor wyścigowy. Twarz, ciało i sylwetka jeźdźca pozostają niewidoczne; widoczne są jedynie dłonie jeźdźca, szyja i górna część grzbietu smoka, krajobraz, inne smoki z jeźdźcami oraz zamek z katapultami na murach. Prompt przewiduje realistyczne uderzenia skrzydeł, wiatr, rozmycie ruchu i ruch głowy, a audio składa się z trzasku skrzydeł, wiatru na wysokości, odległego wulkanicznego pomruku i trzaskających żarzących się odłamków.

Kolejny przykład przedstawia dwoje koreańskich kochanków w wieku około 20 lat jadących motocyklem przez most pod Hongkongiem o świcie w niezależnym melodramacie z 1995 roku. Kierowca nie nosi kasku, podczas gdy pasażerka ma kask otwarty. Scena została ujęta jako intymny, melancholijny film 35 mm z czarnymi pasami, małą głębią ostrości, pomarańczowymi latarniami i ciemnozielonym niebem.

Złożone zdarzenia z modelami Gemini

Google DeepMind stwierdził, że połączenie Gemini i Genie 4 dodaje rozumowanie dla złożonych, wieloetapowych zdarzeń i pozwala testować systemy AI w symulowanych środowiskach przed ich użyciem w świecie rzeczywistym.

W konfiguracji czasu rzeczywistego Gemini 3.8 Flash działa jako agent prowadzący. Gdy Genie 4 generuje świat, Gemini obserwuje scenę, dzieli cele na sekwencje kroków, przegląda nadchodzące klatki i sprawdza, czy każdy krok się powiódł. Może dostosować plan, gdy świat się zmienia lub gdy użytkownik interweniuje, wspierając przyczynowość, zachowania proceduralne i rozumowanie wieloetapowe.

Przykłady obejmują robota Universal Robots UR5 trzymającego pipetę i dozującego płyn na płytkę laboratoryjną, wywołując drobne iskry elektryczne. Inny prompt opisuje podróż z pierwszej osoby przez przepychowy, klaustrofobiczny antykwaryczny salon. Widz trzyma rzeźbioną z twardego drewna i polerowaną mosiężną różdżkę, a pomieszczenie zawiera tysiące glazurowanych porcelanowych zwierząt, w tym pawie, psy i koty. Żądana scena obejmuje realistyczne tekstury skóry i drewna, szkliwo ceramiczne, mikropęknięcia emalii, kurz, ziarno filmowe, efekty optyczne obiektywu, skrzypienie podłogi, oddech i ciche dźwięki porcelany.

Ta sama sekwencja obejmuje prawdziwego iluzjonistę obok wysokiego drewnianego stołu z otwartym prostokątnym drewnianym pudełkiem zawierającym pawia. Prompt przewiduje naturalne światło, realistycznych aktorów i prestiżową estetykę współczesnego dramatu telewizyjnego — bez teatru, sceny, fantasy ani wyglądu CGI. Inny prompt pokazuje żurawia koronowanego przechodzącego po śniegu pod czystym, zmierzchowym niebem w stylu dokumentalnym.

Google DeepMind poinformował również, że eksperymentował z Gemini 4 Argon i Genie 4 we współpracy z Gemini Robotics. W jednym z przykładów Argon dzieli zadanie wskazane przez użytkownika na kroki dla Genie do wyrenderowania, wyświetlając kroki jako napisy tekstowe w miarę postępu symulacji. Firma wykorzystała Gemini 4 Argon i Genie 4 do symulacji humanoida Apollo firmy Apptronik grającego w warcaby poprzez dekompozycję zadania w czasie rzeczywistym.

Opinie zaufanych testerów

Google DeepMind opisał Genie 4 jako wczesny, eksperymentalny model. Firma współpracowała z zaufanymi testerami z branż kreatywnych, dziennikarstwa, edukacji, gier i inżynierii, aby zrozumieć, jak interaktywne modele świata mogą wspierać realne procesy pracy i gdzie wymagają dalszego rozwoju.

Twórcy i specjaliści od technologii testują Genie 4 jako szybki tryb roboczy do prewizualizacji i ideacji. Filmowcy mogą wejść do żywej symulacji i nagrać wiele ujęć, zmieniając w trakcie kąty kamery, oświetlenie, dialog i akcję. Na tym wczesnym etapie sterowalna symulacja służy jako wspólne pole robocze, w którym kamera, dźwięk i akcję można poprawiać jednocześnie, zanim podejmie się decyzję o produkcji.

Fotojurnaliści badają, jak pojedyncze dwuwymiarowe zdjęcie archiwalne może w kilka sekund stać się ugruntowaną symulacją danego środowiska. Zespoły testują również zaludnione, dynamiczne światy do doświadczania przestrzeni historycznych i wizualizacji krótkotrwałych zdarzeń, takich jak powodzie błyskawiczne czy pożary lasów.

Deweloperzy gier i twórcy technologiczni wykorzystują prompty w języku naturalnym, aby przejść od początkowego pomysłu do eksplorowalnego prototypu, testując style wizualne, materiały i mechaniki interaktywne przed napisaniem choćby linii kodu silnika. Partnerzy korporacyjni z różnych branż oceniają Genie 4 do szybkiego generowania scenariuszy "od zera" oraz identyfikują luki w możliwościach symulacyjnych.

W kierunku hybrydowych modeli świata

Google DeepMind stwierdził, że obiecującym kierunkiem są hybrydowe modele świata, łączące ustrukturyzowane rozumowanie kodu i modeli językowych z sensoryczną reprezentacją symulacji na poziomie pikseli. Zbliżenie Genie i Gemini to wczesny krok w tym kierunku.

Gemini może mapować strukturę i planować os czasu narracji, podczas gdy Genie generuje bezpośrednią rzeczywistość fizyczną — renderując, jak świat wygląda, brzmi i reaguje, piksel po pikselu. Według Google DeepMind połączenie tych mocnych stron może dać modele świata bardziej spójne, kontrolowalne i ugruntowane niż każde z podejść osobno.

Bezpieczeństwo i przejrzystość

Genie 4 łączy generację w czasie rzeczywistym z fotorealizmem i wprowadza nowe możliwości, które Google DeepMind zamierza wdrażać w odpowiedzialny sposób. Model zawiera zabezpieczenia bezpieczeństwa zgodne z politykami firmy dotyczącymi jej innych modeli.

Przed udostępnieniem podglądu Google DeepMind przeprowadził wewnętrzne, rygorystyczne oceny bezpieczeństwa mające zapobiec generowaniu szkodliwych lub złośliwych treści. Początkowo ograniczono dostęp do partnerów będących zaufanymi testerami, aby zebrać wczesne opinie przed szerszym wydaniem.

Wszystkie wideo i audio generowane przez Genie 4 będą zawierać SynthID — niewidoczną technologię cyfrowego znaku wodnego Google służącą do identyfikacji treści tworzonych przez AI w formatach wizualnych i audio. Znak wodny odpowiada na kluczowe pytanie dotyczące fotorealistycznej generacji: czy wideo i audio stworzone przez AI można nadal zidentyfikować jako syntetyczne, gdy już zacznie krążyć.

Aktualne ograniczenia

Genie 4 pozostaje rozwijającym się projektem badawczym. Potrafi utrzymać spójne środowisko w krótkich sesjach, jednak szczegóły wizualne i trwałość obiektów mogą z czasem ulegać zmianom — szczególnie przy dłuższych symulacjach, po wielu złożonych edycjach promptów lub przy intensywnej nawigacji po scenie.

Google DeepMind stwierdził, że złożone interakcje fizyczne, dokładność audio w czasie rzeczywistym, renderowanie czytelnego tekstu, dokładność przestrzenna i spójność długoterminowa pozostają aktywnymi obszarami badań. Te otwarte obszary badań mają badać etapowe wdrożenie i dają wczesnym użytkownikom konkretną listę kontrolną do oceny, jak daleko interaktywne modele świata przesunęły się od demonstracji w stronę niezawodnych narzędzi. Firma udostępnia Genie 4 jako podgląd, aby uczyć się razem ze społecznością, bezpiecznie rozwijając symulację interaktywną.

Dostępność

Genie 4 został wydany jako podgląd badawczy dla zaufanych testerów. Wkrótce trafi do subskrybentów Google AI Ultra w ramach Project Genie oraz do partnerów z wczesnym dostępem korzystających z Gemini API i Google AI Studio. Lista oczekujących jest dostępna przez Project Genie.

Oryginalne ogłoszenie jest dostępne na blogu Google DeepMind.

Podziękowania

Google DeepMind podziękował Hang Qi, Diego Rivas, Aleksandrowi Hołyńskiemu, Inbar Mosseri, Jackowi Parker-Holderowi, Shlomiemu Fruchterowi, Tejas Kulkarni, Jamesowi Assiene, Philipowi Ballowi, Jakobowi Bauerowi, Eddie Cao, Lucy Chai, Harrisowi Chanowi, Kleopatrze Chatziprimou, Hao Chenowi, Yoni Choukrounowi, Markowi Collierowi, Enricowi Corona, Kurtisowi Davidowi, Arielowi Ephratowi, Maxime Gazeau, Ruiqi Gao, Chelsee Glover-Odom, Liangke Gui, Swaroopowi Guntupalli, Shan Han, Tingbo Hou, Jiri Hronowi, Hui Huang, Drewowi A. Hudsonowi, Zhouyuan Huo, Linyi Jin, Christosowi Kaplanisowi, Dhrupadowi Karwie, Eunyoung Kim, Congtao Kuangowi, Eliotowi Laidlawowi, José Lezamie, Hao Li, Shuang Li, Yuchen Liu, Hanzi Mao, Markowi Matthewsowi, Mattowi McGillowi, Kay McKinney, Ricardo Montiemu, Markowi Murphy'emu, Josephowi Ortizowi, Roniemu Paissowi, Frankowi Perbetowi, Benowi Poole'owi, Tal Reiss, Konstantinosowi Rematasowi, Guyowi Scully'emu, Jeremy'emu Sharowi, Shashankowi Shastry'emu, Sri S, Omerowi Tovowi, Rubenowi Villegasowi, Andreyowi Voynovowi, Hongjie Wangowi, Luyu Wangowi, Kaustubhowi Sridharowi, Mo Samsamiemu, Stephenowi Spencerowi, Yufei Wangowi, Willowi Whitneyowi, Rundi Wu, Joyce (Jingjing) Xie, Jesse Yin, Shiran Zadzie, Serena Zhang, Xiaofan Zhang, Zhengqi Li, Zhixing Zhang, Yuan Zhong, Shuo-yiin Chang, Dmitry'emu Lagunowi, Ronnemu Huangowi, Yao Su, Ankushowi Guptcie, Genzhi Ye, Haolinowi Jia, Weiqin Wangowi, Xi Xiongowi, Salahowi Zaiemowi i Carol Zheng.

Firma podziękowała również partnerom międzyzespołowym: Dinie Bashkirovej, Emilowi Bergnerowi, Grecie Borisko, Irinie Blok, Melissie Byun, Gabe Clapperowi, Viral Carpenterowi, Michaelowi Y. Changowi, Maximo Cudich-Sieburgerowi, Chloe Doan, Alisie Fortin, Shivani Ghancie, Vikramowi Gopalii, Ezrze Gormanowi, Khyatti Guptcie, Samowi Hasinoffowi, Philippowi Henzlerowi, Hectorowi Hinestrozie, Edowi Hirstowi, Tylerowi Hollandowi, Kristianowi Holsheimerowi, Tiffany Hu, Kapilowi Joshiemu, Randeepowi Kataritemu, Pavanowi Kumarowi, Vikhyatowi Kumerii, Samowi Kvaalenowi, Matthew Levine'owi, Yinxiao Li, Yuchi Liu, Miao Luo, Nickowi Matarese'owi, Kangfu Mei, Signe Nørly, Moisesowi Oliveirze, Ericowi Paskie, Manice Puri, Susannie Ricco, Andreyowi Ryabtsevowi, Cai Schumannowi, Nicole Brichtovej, Andy'emu Sekyere'owi, Grace Shih, Melissie Smith, Duncanowi Noble Smithowi, Kendzie Stewart, Rodowi Strougo, Jenn Sturgeon, Amy Zeng, Gaby Pearl, Eleanor Tomlinson, Kenyonowi Watsonowi, Inês Ayer, Luke'owi Talbotowi, Han-Yun Tsao, Guillaume'owi Vernade, Karen Wang, Changchang Wu, Ianowi Wilkinsonowi, Weijuan Xi, Jennifer Yick, Yunhan Zhao, Ericowi Zhangowi, Jasonowi Zhangowi, Annie Zhou, Jamesowi Zhou, Chrisowi Walkerowi, Alanowi Yamowi, Alexowi Chenowi, Cliffowi Lungarettiemu, Danowi Motzenbeckerowi, Kaloyanowi Kolevowi, Matthew Carey'emu, Nate'owi Zuckerowi, Samowi Lawtonowi, Shashwathowi Santoshowi i Suz Chambers.

Google DeepMind podziękował także Raii Hadsell, Aäronowi van den Oordowi, Joshowi Woodwardowi, Steve'owi Seitzowi, Carlosowi Hernandezowi, Eliasowi Romanowi, Jung E. Kimowi, Abhishekowi Bapnie, Eli Collinsowi, Tulsee Doshi, Caroline Parada, Jie Tanowi, Korayowi Kavukcuoglu i Demisowi Hassabisowi za wskazówki i wsparcie, a także zaufanym testerom i użytkownikom z wczesnym dostępem, którzy przekazali opinie.