Door Alexandre Moufarek en Adrian Bolton

Van Atari tot Go tot StarCraft: games hebben enkele van de grootste doorbraken in AI mogelijk gemaakt. Google DeepMind werkt nu samen met gameontwikkelaars om nieuwe gameplay-ervaringen te prototypen die de grenzen van zowel gaming als AI verleggen.

Sinds de oprichting van DeepMind in 2010 hebben de beperkte maar rijke werelden van games een cruciale rol gespeeld in het begrijpen van intelligentie. Ze hebben geleid tot enkele van de grootste AI-doorbraken van de organisatie, van het beheersen van Atari tot het helpen oplossen van eiwitstructuurvoorspelling — en ze staan nog altijd centraal in wat het team doet.

Gaming zit in het DNA van Google DeepMind (GDM). Demis Hassabis, een van de oprichters van Google DeepMind, is zelf een voormalig gameontwikkelaar — hij begon bij Bullfrog Productions en werkte aan de hit Theme Park uit 1994 voordat hij zijn eigen studio, Elixir Studios, oprichtte — net als veel leden van het GDM-team. Samen hebben zij tientallen jaren praktijkervaring in gameontwikkeling en een diep respect voor het vak van het maken van games.

Google DeepMind is altijd duidelijk geweest dat AI-onderzoek met games een nauwe samenwerking met gameontwikkelaars vereist — zoals de grote nieuwe onderzoekssamenwerking met Fenris Creations en het EVE Universe, die eerder dit jaar werd aangekondigd, en het werk dat samen is gedaan met gerenommeerde studio’s als Hello Games, Coffee Stain Studios, Foulball Hangover en anderen.

Games als motor van AI-onderzoek

De reis begon toen een klein team een diep neuraal netwerk trainde om Atari 2600-games direct vanuit ruwe pixels te spelen. The Deep Q-Network (DQN) leerde 49 verschillende games te spelen — van Pong tot Breakout tot Space Invaders — zonder gamespecifieke engineering. Het Nature-artikel uit 2015 over DQN hielp de moderne tijd van deep reinforcement learning op gang.

Daarna probeerde het team complexere games te beheersen, waarbij elke mijlpaal resulteerde in capabelere en algemenere systemen. AlphaGo versloeg in 2016 wereldkampioen Go Lee Sae Dol — een prestatie waarvan veel experts dachten dat die nog een decennium weg was. AlphaGo Zero overtrof elke eerdere versie door volledig te leren via self-play, zonder enige menselijke data. AlphaZero generaliseerde deze aanpak om met één algoritme schaak, shogi en Go te beheersen, terwijl MuZero leerde spelen zonder de regels zelfs maar te kennen. In 2019 bereikte AlphaStar grandmaster-niveau in StarCraft II, waarbij het realtime-complexiteit en onvolledige informatie navigeerde.

Voor elk spel verrijkte AI de speelervaring. AlphaGo’s beroemde Move 37 — gespeeld in de tweede partij van de match uit 2016 — was zo onverwacht dat professionele commentatoren het aanvankelijk voor een fout hielden, waarmee eeuwen van gangbare wijsheid in Go werden omvergeworpen en experts werden geïnspireerd om nieuwe strategieën te verkennen. AlphaZero inspireerde op vergelijkbare wijze volledig nieuwe speelwijzen in schaak. Cruciaal is dat de geest van verkenning die in games succes had, ook grote impact had op andere AI-systemen: AlphaFold paste deze fundamenten toe om de 50 jaar oude grote uitdaging van eiwitstructuurvoorspelling op te lossen, een doorbraak die werd erkend met de Nobelprijs voor Scheikunde 2024.

Van games beheersen naar games begrijpen

Eerder werk liet zien dat AI elke game kan beheersen als er een duidelijk doel en voldoende training is. Maar de echte wereld komt niet met scores en regelboeken — wat het team ertoe bracht een fundamenteel andere vraag te stellen: kan AI elke gamewereld begrijpen en ermee omgaan zoals een mens dat zou doen?

Dat is de uitdaging achter SIMA, de Scalable Instructable Multiworld Agent, die Google DeepMind in 2024 introduceerde. In plaats van te optimaliseren voor een hoge score, is SIMA een generalistische agent die “ziet” wat een speler op het scherm zou zien, natuurlijke taalopdrachten begrijpt en handelt via gewone toetsenbord- en muisbediening — zonder API’s of toegang tot broncode.

Aangedreven door Gemini, Google’s frontier AI-modellen, fungeert SIMA 2 als een interactieve begeleider die in realtime kan redeneren en converseren. Het behaalt menselijk aandoende prestaties in complexe 3D-onderzoeksomgevingen en videogames zoals No Man's Sky, Valheim, Hydroneer en meer.

Voor gameontwikkelaars zou een echt algemene gamingagent AI-mogelijkheden ontsluiten die werken met bestaande games — zonder aanpassingen aan de gamecode. Dat kan geheel nieuwe gameplay mogelijk maken, van AI-metgezellen die de gamewereld echt begrijpen tot non-player characters (NPC’s) die zich aanpassen en reageren op manieren die gescripte systemen nooit zouden kunnen.

Een algemene gamingagent kan ook transformeren hoe games worden gemaakt. Tijdens ontwikkeling, wanneer de game met elke commit verandert, kunnen zulke agents echt robuuste QA-tests mogelijk maken. Na lancering, wanneer nieuwe content wordt toegevoegd of spelers onvoorspelbaar gedrag vertonen, kunnen ze in realtime aanpassen — generaliseren naar nieuwe situaties zonder opnieuw gescript te hoeven worden.

Om SIMA-agents veilig en verantwoord te ontwikkelen, werkt Google DeepMind samen met gerenommeerde gamestudio’s en bouwt het aan een groeiende portefeuille van games voor AI-onderzoek. Daarmee kan het team zijn agents uitdagen met steeds complexere taken die op een dag mogelijk kunnen worden toegepast op het oplossen van problemen in de echte wereld.

Nieuwe frontiers van AI- en game-onderzoek verkennen, in samenwerking met gameontwikkelaars

Gamestudio’s brengen vakmanschap, buitengewone gamewerelden en diep inzicht in hun spelers. Google DeepMind brengt frontier AI — van Gemini tot onderzoek in generatieve interactieve omgevingen en embodied agents — onderzoeksexpertise en het unieke gameontwikkelingsverleden van het team en jarenlange ervaring met het bouwen van AI voor interactieve omgevingen. Samen richten de partners zich op het ontdekken van doorbraaks ervaringen: nooit eerder geziene gameplay die zonder AI niet mogelijk zou zijn. De samenwerking komt bovendien op een moment waarop de bredere game-industrie AI verkent op gebieden als prototyping en QA-tools tot conversationele NPC’s.

Het draait niet om de technologie zelf, maar om leuke ervaringen, en daarom hanteert Google DeepMind samen met partners een ‘show, don’t tell’-aanpak. Het team werkt nauw samen met gameontwikkelaars, verkent nieuwe ideeën en bouwt speelbare prototypes om te ontdekken wat leuk is.

De nieuwste onderzoekssamenwerking, met Fenris Creations, de onafhankelijke studio achter het EVE Universe, markeert een nieuw hoofdstuk in de geschiedenis van AI-onderzoek in games bij Google DeepMind.

Het EVE Universe: een onderzoeksfrontier

Fenris Creations — de studio achter EVE Online, voorheen bekend als CCP Games — heeft meer dan twee decennia besteed aan het bouwen van een van de meest bijzondere persistente werelden in gaming. EVE Online, gelanceerd in 2003, is een massaal multiplayer-ruimte-simulatie waarin duizenden spelers één universum delen dat al meer dan 20 jaar onafgebroken evolueert. De door spelers gedreven economie kent echte vraag- en aanboddynamiek en handelsnetwerken die duizenden sterrensystemen overspannen. Het landschap — gevormd door allianties, conflicten en diplomatie — wordt aangedreven door menselijke interactie, en de oorlogen tussen spelers hebben enkele van de grootste gevechten in de geschiedenis van online gaming opgeleverd.

Voor AI-onderzoek is dit een gouden kans. Het is een levende, evoluerende wereld die precies de capaciteiten vereist die Google DeepMind essentieel acht voor frontier AI:

• Continu leren: nieuwe vaardigheden verwerven zonder te vergeten wat eraan voorafging, in een voortdurend veranderende wereld.
• Geheugen: kennis opslaan en terughalen over tijdschalen die veel verder reiken dan de contextvensters van huidige modellen.
• Planning op lange termijn: redeneren over weken, maanden of zelfs jaren.
• Complexe multi-agent-dynamiek: op schaal omgaan met samenwerking, competitie, onderhandeling, economie en emergent sociaal gedrag.

Deze uitdagingen staan centraal in Google DeepMind’s bredere onderzoeksinitiatief om systemen te creëren die continu leren van ervaring, waarbij het leertempo in de loop van de tijd toeneemt. Het bedrijf denkt dat deze frontier-capaciteiten in de toekomst nieuwe gameplay-ervaringen kunnen ontsluiten.

EVE Online werd vanaf dag één gezien als een sandbox met blijvende gevolgen, gevormd door zijn spelers. Dat heeft door de decennia heen talloze verhalen van menselijke groei opgeleverd voor spelers en medewerkers. Samen met Google DeepMind betreden we onontgonnen terrein waarin AI moet leren, zich moet aanpassen en moet onthouden op tijdschalen die geen enkele andere gameomgeving vereist, terwijl we ons helpen begrijpen hoe mensen en AI in een virtuele omgeving kunnen samenleven voordat we in het echte leven met dezelfde vragen worden geconfronteerd.

Het onderzoekspartnerschap strekt zich uit over het groeiende universum van Fenris Creations en biedt verschillende omgevingen voor AI-ontwikkeling. Terwijl EVE Online een grootschalig single-shard persistent universum biedt, wordt EVE Vanguard gespeeld vanuit een first-person perspectief, waardoor tactische besluitvorming op grondniveau en in hoog tempo wordt ingebracht in de bredere persistente wereld. Dit creëert mogelijkheden om agents te bestuderen die opereren over meerdere niveaus van abstractie, van tactieken op twitch-niveau tot strategie op galactische schaal.

Daarnaast biedt EVE Frontier — met zijn programmeerbare "Smart Assemblies" en open, uitbreidbare architectuur — een open einde-omgeving waarin de regels van de wereld zelf kunnen veranderen, wat agents vereist die zich aanpassen aan volledig nieuwe game-mechanieken.

De samenwerking heeft al tastbare waarde voor spelers opgeleverd: het Aura Guidance-systeem gebruikt Gemini om door spelers gegenereerde kennis te leveren, gebaseerd op echte Rookie Help-vragen en -antwoorden, om nieuwe piloten te helpen.

Het onderzoeksprogramma op langere termijn begint met een offline instantie van EVE Online, een veilige sandbox, los van live spelers. Daarna gaat het verder via EVE Frontier als een ruimte om te bestuderen hoe mensen en agents kunnen samenleven in een persistente en open einde-wereld. Pas wanneer de capaciteiten voldoende volwassen zijn, zou Google DeepMind overwegen om deze naar EVE Online en EVE Vanguard te brengen, met als doel de menselijke speelervaring te verrijken.

De weg vooruit

Games zijn altijd een spiegel geweest voor intelligentie. Naarmate ze complexer, persistenter en meer open einde worden, worden ook de AI-systemen die zijn gebouwd om ermee te navigeren complexer.

Google DeepMind streeft nog altijd hetzelfde uiteindelijke doel na: AI als katalysator, niet als vervanging. De ambitie op lange termijn is om baanbrekende gameplay-ervaringen te ontsluiten, games toegankelijker en persoonlijker te maken en — zoals te zien is van AlphaGo tot AlphaFold — wat in games wordt geleerd toe te passen op problemen in de echte wereld en wetenschappelijke ontdekking te bevorderen. Volgens de vastgelegde routekaart van de samenwerking zijn de volgende mijlpalen onderzoeksresultaten uit de offline EVE Online-instantie, gevolgd door experimenten met mens-agent-samenleven in EVE Frontier — waarbij integratie in live games pas aan de orde komt zodra de capaciteiten volwassen zijn.

Het team bedankte al zijn gamepartners op deze reis, en Fenris Creations voor het aansluiten bij dit volgende hoofdstuk, en zei niet te kunnen wachten om te delen wat het ontdekt.

Dankbetuigingen

Google DeepMind erkende de vele teams binnen de organisatie voor hun bijdragen door de jaren heen aan het veilig en verantwoord bevorderen van AI-onderzoek in games, en sprak speciale dank uit aan alle gameontwikkelaars die met het bedrijf samenwerkten: Coffee Stain (Valheim, Satisfactory, Goat Simulator 3), Fenris Creations (EVE Online, EVE Vanguard, EVE Frontier), Foulball Hangover (Hydroneer), Hello Games (No Man's Sky), Keen Software House (Space Engineers), RubberbandGames (Wobbly Life), Strange Loop Games (Eco), Thunderful Games (ASKA, The Gunk, Steamworld Build), Digixart (Road 96) en Tuxedo Labs & Saber Interactive (Teardown).

Bron: Google DeepMind Blog — https://deepmind.google/blog/from-atari-to-eve-online-building-on-15-years-of-ai-research-in-games/