By Alexandre Moufarek and Adrian Bolton

Od Atari przez Go po StarCraft gry napędzały jedne z największych przełomów w AI. Google DeepMind współpracuje teraz z twórcami gier nad prototypowaniem nowych doświadczeń rozgrywki, które przesuwają granice zarówno gier, jak i AI.

Od założenia DeepMind w 2010 roku ograniczone, lecz bogate światy gier odgrywają kluczową rolę w rozumieniu inteligencji. Napędzały one niektóre z największych przełomów AI organizacji, od opanowania Atari po pomoc w rozwiązaniu problemu przewidywania struktury białek — i nadal pozostają w centrum działań zespołu.

Gry są zapisane w DNA Google DeepMind (GDM). Demis Hassabis, jeden z założycieli Google DeepMind, sam jest byłym twórcą gier — zaczynał w Bullfrog Productions, pracując nad hitem Theme Park z 1994 roku, zanim założył własne studio Elixir Studios — podobnie jak wielu członków zespołu GDM. Razem mają dziesięciolecia praktycznego doświadczenia w tworzeniu gier i głęboki szacunek dla rzemiosła ich tworzenia.

Google DeepMind zawsze jasno podkreślał, że prowadzenie badań nad AI z wykorzystaniem gier wymaga ścisłego partnerstwa z twórcami gier — takiego jak duże nowe partnerstwo badawcze z Fenris Creations i EVE Universe, ogłoszone wcześniej w tym roku, oraz prace prowadzone wspólnie z uznanymi studiami, takimi jak Hello Games, Coffee Stain Studios, Foulball Hangover i innymi.

Gry jako silnik badań nad AI

Droga rozpoczęła się, gdy niewielki zespół wytrenował głęboką sieć neuronową do grania w gry Atari 2600 bezpośrednio z surowych pikseli. Deep Q-Network (DQN) nauczył się grać w 49 różnych gier — od Pong po Breakout i Space Invaders — bez żadnego inżynieringu specyficznego dla gry. Artykuł w Nature z 2015 roku o DQN pomógł zainicjować nową erę głębokiego uczenia ze wzmocnieniem.

Następnie zespół próbował opanować bardziej złożone gry, a każdy kolejny kamień milowy prowadził do bardziej sprawnych i ogólnych systemów. AlphaGo pokonał mistrza świata w Go Lee Sae Dola w 2016 roku — osiągnięcie, które wielu ekspertów uważało wówczas za odległe o jeszcze dekadę. AlphaGo Zero przewyższył wszystkie wcześniejsze wersje, ucząc się wyłącznie poprzez samodzielną grę, bez jakichkolwiek danych od ludzi. AlphaZero uogólnił to podejście, opanowując szachy, shogi i Go jednym algorytmem, podczas gdy MuZero nauczył się grać, nie znając nawet zasad. W 2019 roku AlphaStar osiągnął poziom Grandmastera w StarCraft II, radząc sobie z rzeczywistą złożonością czasu rzeczywistego i niepełną informacją.

W każdej grze AI wzbogacała doświadczenie rozgrywki. Słynny ruch 37 AlphaGo — zagrany w drugiej partii meczu z 2016 roku — był zagraniem tak nieoczekiwanym, że profesjonalni komentatorzy początkowo uznali go za błąd, odwracając wielowiekową wiedzę na temat Go i inspirując ekspertów do poszukiwania nowych strategii. AlphaZero podobnie zainspirował zupełnie nowe linie gry w szachach. Co kluczowe, duch eksploracji, który odniósł sukces w grach, wywarł głęboki wpływ na inne systemy AI: AlphaFold zastosował te podstawy, aby pomóc rozwiązać 50-letnie wielkie wyzwanie przewidywania struktury białek, przełom, który został uhonorowany Nagrodą Nobla w dziedzinie chemii w 2024 roku.

Od opanowania gier do ich rozumienia

Wcześniejsze prace wykazały, że AI może opanować dowolną grę, jeśli ma jasny cel i wystarczająco dużo treningu. Jednak rzeczywisty świat nie ma wyników ani książek z zasadami — co doprowadziło zespół do zadania zasadniczo innego pytania: czy AI może rozumieć i wchodzić w interakcję z dowolnym światem gry tak, jak robiłby to człowiek?

To wyzwanie kryje się za SIMA, Scalable Instructable Multiworld Agent, po raz pierwszy zaprezentowanym przez Google DeepMind w 2024 roku. Zamiast optymalizować wynik, SIMA jest agentem ogólnego przeznaczenia, który „widzi” to, co widziałby gracz na ekranie, rozumie instrukcje w języku naturalnym i działa za pomocą zwykłych poleceń klawiatury i myszy — bez potrzeby dostępu do API lub kodu źródłowego.

Napędzany przez Gemini, modele graniczne AI Google, SIMA 2 działa jako interaktywny towarzysz zdolny do rozumowania i rozmowy w czasie rzeczywistym. Osiąga rozgrywkę zbliżoną do ludzkiej w złożonych trójwymiarowych środowiskach badawczych i grach wideo, w tym No Man's Sky, Valheim, Hydroneer i innych.

Dla twórców gier prawdziwie uniwersalny agent do gier otworzyłby możliwości AI, które działają z istniejącymi grami — bez konieczności modyfikowania kodu gry. Mogłoby to umożliwić zupełnie nowe formy rozgrywki, od towarzyszy AI, którzy naprawdę rozumieją świat gry, po postacie niezależne (NPC), które dostosowują się i reagują w sposób niedostępny dla systemów skryptowych.

Uniwersalny agent do gier mógłby też zmienić sposób tworzenia gier. W trakcie developmentu, gdy gra zmienia się z każdym commitem, takie agenty mogłyby umożliwić naprawdę solidne testy QA. Po premierze, gdy pojawia się nowa zawartość lub gracze zachowują się nieprzewidywalnie, mogłyby dostosowywać się w czasie rzeczywistym — generalizując do nowych sytuacji bez potrzeby przepisywania skryptów.

Aby rozwijać agentów SIMA w sposób bezpieczny i odpowiedzialny, Google DeepMind współpracuje z uznanymi studiami gier i buduje rosnące portfolio gier do badań nad AI. Pozwala to zespołowi stawiać agentom coraz bardziej złożone zadania, które w przyszłości mogą przełożyć się na rozwiązywanie problemów w świecie rzeczywistym.

Odkrywanie nowych granic badań nad AI i grami we współpracy z twórcami gier

Studia gier wnoszą mistrzowskie rzemiosło, niezwykłe światy gier i głęboką wiedzę o swoich graczach. Google DeepMind wnosi AI granicznej generacji — od Gemini po badania nad generatywnymi środowiskami interaktywnymi i agentami ucieleśnionymi — doświadczenie badawcze oraz unikalne zaplecze zespołu w zakresie tworzenia gier i wieloletnie doświadczenie w budowaniu AI dla środowisk interaktywnych. Wspólnie partnerzy skupiają się na odkrywaniu przełomowych doświadczeń: wcześniej niespotykanej rozgrywki, która nie byłaby możliwa bez AI. Partnerstwo pojawia się także w szerszym kontekście zmian w branży, ponieważ studia i właściciele platform w całym gamingu eksperymentują z AI w obszarach od prototypowania i narzędzi QA po konwersacyjne NPC.

Sednem nie jest sama technologia, lecz ciekawe doświadczenia, dlatego Google DeepMind stosuje wobec partnerów podejście „pokaż, nie opowiadaj”. Zespół pracuje ramię w ramię z twórcami gier, eksplorując nowe pomysły i budując grywalne prototypy, by znaleźć to, co daje frajdę.

Najnowsze partnerstwo badawcze z Fenris Creations, niezależnym studiem stojącym za EVE Universe, stanowi nowy rozdział w historii badań nad AI w grach w Google DeepMind.

Uniwersum EVE: granica badawcza

Fenris Creations — studio stojące za EVE Online, wcześniej znane jako CCP Games — spędziło ponad dwie dekady, budując jeden z najbardziej niezwykłych trwałych światów w grach. EVE Online, uruchomione w 2003 roku, to wieloosobowa symulacja kosmiczna, w której tysiące graczy dzielą jeden wszechświat rozwijający się nieprzerwanie od ponad 20 lat. Jego gospodarka napędzana przez graczy opiera się na rzeczywistych mechanizmach podaży i popytu oraz sieciach handlowych obejmujących tysiące systemów gwiezdnych. Krajobraz tego świata — kształtowany przez sojusze, konflikty i dyplomację — jest napędzany przez interakcje międzyludzkie, a wojny graczy doprowadziły do jednych z największych bitew w historii gier online.

Dla badań nad AI to wyjątkowa okazja. To żyjący, ewoluujący świat, który wymaga dokładnie tych zdolności, które Google DeepMind uważa za kluczowe dla AI granicznej generacji:

• Ciągłe uczenie się: nabywanie nowych umiejętności bez zapominania tego, co było wcześniej, w stale zmieniającym się świecie.
• Pamięć: gromadzenie i odtwarzanie wiedzy w skalach czasowych wykraczających daleko poza dzisiejsze okna kontekstu modeli.
• Planowanie długoterminowe: rozumowanie w perspektywie tygodni, miesięcy, a nawet lat.
• Złożona dynamika wielu agentów: poruszanie się w skali współpracy, konkurencji, negocjacji, ekonomii i wyłaniających się zachowań społecznych.

Wyzwania te leżą w centrum szerszej inicjatywy badawczej Google DeepMind, której celem jest tworzenie systemów uczących się nieprzerwanie z doświadczenia, z przyspieszającym z czasem tempem uczenia. Firma uważa, że te graniczne możliwości mogą w przyszłości otworzyć nowe doświadczenia rozgrywki.

EVE Online od samego początku był pomyślany jako sandbox o trwałych konsekwencjach, kształtowany przez swoich graczy. Przez dekady doprowadził do niezliczonych historii rozwoju ludzi — zarówno graczy, jak i pracowników. Wspólnie z Google DeepMind wkraczamy na niezbadany teren, gdzie AI musi uczyć się, dostosowywać i pamiętać w skalach czasowych, których nie wymaga żadne inne środowisko gry, jednocześnie pomagając nam zrozumieć, jak ludzie i AI mogą współistnieć w wirtualnym środowisku, zanim będziemy musieli zmierzyć się z tymi samymi pytaniami w realnym życiu.

Partnerstwo badawcze obejmuje całe rozwijające się uniwersum Fenris Creations, oferując różne środowiska do rozwoju AI. EVE Online zapewnia trwały wszechświat typu single-shard na dużą skalę, a EVE Vanguard jest grą z perspektywy pierwszej osoby, wprowadzającą taktyczne decyzje podejmowane w szybkim tempie do szerszego trwałego świata. Stwarza to możliwość badania agentów działających na wielu poziomach abstrakcji, od taktyki wymagającej refleksu po strategię obejmującą całą galaktykę.

Ponadto EVE Frontier — z programowalnymi „Smart Assemblies” oraz otwartą, rozszerzalną architekturą — oferuje środowisko otwarte, w którym same zasady świata mogą się zmieniać, wymagając od agentów adaptacji do całkowicie nowych mechanik gry.

Współpraca już przyniosła realną wartość dla graczy: system Aura Guidance wykorzystuje Gemini do dostarczania wiedzy tworzonej przez graczy, opartej na rzeczywistych pytaniach i odpowiedziach z Rookie Help, aby pomagać nowym pilotom.

Długoterminowy program badawczy zaczyna się od odłączonej instancji EVE Online, która stanowi bezpieczny sandbox, oddzielony od aktywnych graczy. Następnie przechodzi do EVE Frontier jako przestrzeni do badania, jak ludzie i agenci mogą współistnieć w trwałym i otwartym świecie. Dopiero gdy możliwości będą dojrzałe, Google DeepMind rozważy przeniesienie ich do EVE Online i EVE Vanguard, z celem wzbogacenia ludzkiej rozgrywki.

Droga naprzód

Gry zawsze były lustrem inteligencji. Wraz z tym, jak stają się bardziej złożone, bardziej trwałe i bardziej otwarte, rozwijają się także systemy AI budowane do poruszania się w nich.

Google DeepMind dąży do tego samego ostatecznego celu, do którego zawsze zmierzał: AI jako katalizator, nie zastępstwo. Długoterminową ambicją jest odblokowanie przełomowych doświadczeń rozgrywki, zwiększenie dostępności i personalizacji gier oraz — jak pokazano od AlphaGo po AlphaFold — zastosowanie tego, czego uczymy się w grach, do problemów świata rzeczywistego i postępu naukowego. Zgodnie z przedstawioną mapą drogową partnerstwa, kolejne etapy obejmują wyniki badań z odłączonej instancji EVE Online, a następnie eksperymenty współistnienia ludzi i agentów w EVE Frontier — przy czym jakakolwiek integracja z grą live nastąpi dopiero wtedy, gdy możliwości będą dojrzałe.

Zespół podziękował wszystkim partnerom z branży gier za tę drogę, a Fenris Creations za dołączenie do kolejnego rozdziału, dodając, że nie może się doczekać, by podzielić się tym, co odkryje.

Podziękowania

Google DeepMind wyróżnił wiele zespołów w całej organizacji za ich wieloletni wkład w bezpieczne i odpowiedzialne rozwijanie badań nad AI w grach, a także złożył szczególne podziękowania wszystkim twórcom gier współpracującym z firmą: Coffee Stain (Valheim, Satisfactory, Goat Simulator 3), Fenris Creations (EVE Online, EVE Vanguard, EVE Frontier), Foulball Hangover (Hydroneer), Hello Games (No Man's Sky), Keen Software House (Space Engineers), RubberbandGames (Wobbly Life), Strange Loop Games (Eco), Thunderful Games (ASKA, The Gunk, Steamworld Build), Digixart (Road 96) oraz Tuxedo Labs & Saber Interactive (Teardown).

Źródło: Google DeepMind Blog — https://deepmind.google/blog/from-atari-to-eve-online-building-on-15-years-of-ai-research-in-games/