Von Alexandre Moufarek und Adrian Bolton

Von Atari über Go bis hin zu StarCraft haben Spiele einige der größten Durchbrüche in der KI vorangetrieben. Google DeepMind arbeitet nun mit Spieleentwicklern zusammen, um neue Gameplay-Erlebnisse zu prototypisieren, die die Grenzen von Spielen und KI verschieben.

Seit der Gründung von DeepMind im Jahr 2010 haben die begrenzten, aber dennoch reichhaltigen Welten der Spiele eine entscheidende Rolle beim Verständnis von Intelligenz gespielt. Sie haben einige der größten KI-Durchbrüche des Unternehmens vorangetrieben, vom Meistern von Atari bis zur Unterstützung bei der Vorhersage von Proteinstrukturen – und sie stehen weiterhin im Zentrum der Arbeit des Teams.

Gaming ist Teil der DNA von Google DeepMind (GDM). Demis Hassabis, einer der Gründer von Google DeepMind, ist selbst ein ehemaliger Spieleentwickler – er begann bei Bullfrog Productions mit der Arbeit am 1994er Hit Theme Park, bevor er sein eigenes Studio, Elixir Studios, gründete – ebenso wie viele Mitglieder des GDM-Teams. Gemeinsam bringen sie jahrzehntelange praktische Erfahrung in der Spieleentwicklung und tiefen Respekt für das Handwerk des Spieleschaffens mit.

Google DeepMind hat stets klargestellt, dass KI-Forschung mit Spielen eine enge Partnerschaft mit Spieleentwicklern erfordert – wie die große neue Forschungskooperation mit Fenris Creations und dem EVE Universe, die Anfang dieses Jahres vorgestellt wurde, sowie die gemeinsame Arbeit mit renommierten Studios wie Hello Games, Coffee Stain Studios, Foulball Hangover und anderen.

Spiele als Motor der KI-Forschung

Die Reise begann, als ein kleines Team ein tiefes neuronales Netz trainierte, um Atari-2600-Spiele direkt aus Rohpixeln zu spielen. Das Deep Q-Network (DQN) lernte, 49 verschiedene Spiele zu spielen – von Pong über Breakout bis Space Invaders – ohne spielspezifische Technik. Die 2015er Nature-Arbeit zu DQN trug dazu bei, die moderne Ära des Deep Reinforcement Learning zu katalysieren.

Von dort aus versuchte das Team, komplexere Spiele zu meistern, wobei jeder Meilenstein leistungsfähigere und allgemeinere Systeme hervorbrachte. AlphaGo besiegte 2016 den Go-Weltmeister Lee Sae Dol – eine Leistung, von der viele Experten glaubten, sie liege noch ein Jahrzehnt in der Zukunft. AlphaGo Zero übertraf jede vorherige Version, indem es ausschließlich durch Selbstspiel lernte, ganz ohne menschliche Daten. AlphaZero verallgemeinerte diesen Ansatz, um Schach, Shogi und Go mit einem einzigen Algorithmus zu meistern, während MuZero spielen lernte, ohne die Regeln überhaupt zu kennen. 2019 erreichte AlphaStar in StarCraft II Großmeister-Niveau und navigierte dabei durch Echtzeitkomplexität und unvollständige Information.

Für jedes Spiel bereicherte KI das Spielerlebnis. AlphaGos berühmter Zug 37 – gespielt in der zweiten Partie des Matches 2016 – war ein so unerwarteter Zug, dass professionelle Kommentatoren ihn zunächst für einen Fehler hielten. Er stellte jahrhundertealtes Go-Wissen infrage und inspirierte Experten dazu, neue Strategien zu erforschen. Auch AlphaZero inspirierte im Schach völlig neue Spielzüge. Entscheidend ist, dass der Geist der Erkundung, der in Spielen erfolgreich war, tiefgreifende Auswirkungen auf andere KI-Systeme hatte: AlphaFold nutzte diese Grundlagen, um die 50 Jahre alte große Herausforderung der Proteinstrukturvorhersage zu lösen – ein Durchbruch, der mit dem Nobelpreis für Chemie 2024 ausgezeichnet wurde.

Vom Meistern von Spielen zum Verstehen von Spielen

Frühere Arbeiten zeigten, dass KI jedes Spiel meistern kann, wenn sie ein klares Ziel und genügend Training erhält. Aber die reale Welt kommt nicht mit Punktständen und Regelbüchern daher – was das Team zu einer grundlegend anderen Frage führte: Kann KI mit jeder Spielwelt so verstehen und interagieren, wie es ein Mensch würde?

Das ist die Herausforderung hinter SIMA, dem Scalable Instructable Multiworld Agent, der 2024 erstmals von Google DeepMind vorgestellt wurde. Statt auf eine hohe Punktzahl zu optimieren, ist SIMA ein Generalist, der sieht, was ein Spieler auf dem Bildschirm sehen würde, natürliche Sprachbefehle versteht und über normale Tastatur- und Maussteuerung handelt – ohne APIs oder Zugriff auf Quellcode.

Angetrieben von Gemini, den Frontier-KI-Modellen von Google, agiert SIMA 2 als interaktiver Begleiter, der zu Echtzeit-Analyse und Gespräch in der Lage ist. Er erreicht menschenähnliches Spielverhalten in komplexen 3D-Forschungsumgebungen und Videospielen, darunter No Man's Sky, Valheim, Hydroneer und mehr.

Für Spieleentwickler würde ein wirklich allgemeiner Gaming-Agent KI-Fähigkeiten erschließen, die mit bestehenden Spielen funktionieren – ohne Änderungen am Spielcode. Das könnte ganz neues Gameplay ermöglichen, von KI-Begleitern, die die Spielwelt tatsächlich verstehen, bis hin zu Nicht-Spieler-Charakteren (NPCs), die sich auf eine Weise anpassen und reagieren, die skriptbasierte Systeme niemals könnten.

Ein allgemeiner Gaming-Agent könnte auch verändern, wie Spiele entwickelt werden. Während der Entwicklung, wenn sich das Spiel mit jedem Commit ändert, könnten solche Agenten ein äußerst robustes QA-Testing ermöglichen. Nach dem Launch, wenn neue Inhalte hinzukommen oder Spieler sich unvorhersehbar verhalten, könnten sie sich in Echtzeit anpassen – und neue Situationen verallgemeinern, ohne neu skriptiert werden zu müssen.

Um SIMA-Agenten sicher und verantwortungsvoll zu entwickeln, hat Google DeepMind mit renommierten Spielestudios zusammengearbeitet und baut ein wachsendes Portfolio von Spielen für die KI-Forschung auf. Dadurch kann das Team seine Agenten mit immer komplexeren Aufgaben herausfordern, die eines Tages auf reale Probleme übertragbar sein könnten.

Neue Grenzbereiche der KI- und Spieleforschung gemeinsam mit Spieleentwicklern erkunden

Spielestudios bringen handwerkliche Exzellenz, außergewöhnliche Spielwelten und tiefes Wissen über ihre Spieler mit. Google DeepMind bringt Frontier-KI ein – von Gemini bis zur Forschung an generativen interaktiven Umgebungen und verkörperten Agenten –, Forschungsexpertise sowie den einzigartigen Hintergrund des Teams in der Spieleentwicklung und jahrelange Erfahrung beim Aufbau von KI für interaktive Umgebungen. Gemeinsam konzentrieren sich die Partner darauf, bahnbrechende Erlebnisse zu entdecken: nie zuvor gesehene Spielmechaniken, die ohne KI nicht möglich wären. Die Partnerschaft fällt zudem in eine breitere Branchenentwicklung, da Studios und Plattformbetreiber im Gaming-Bereich KI unter anderem für Prototyping, QA-Tools und dialogfähige NPCs erproben.

Es geht nicht um die Technologie selbst, sondern um unterhaltsame Erlebnisse, weshalb Google DeepMind mit seinen Partnern einen „show, don't tell“-Ansatz verfolgt. Das Team arbeitet Hand in Hand mit Spieleentwicklern, erkundet neue Ideen und baut spielbare Prototypen, um das Spielspaß-Potenzial zu finden.

Die neueste Forschungskooperation mit Fenris Creations, dem unabhängigen Studio hinter dem EVE Universe, markiert ein neues Kapitel in der Geschichte der KI-Forschung in Spielen bei Google DeepMind.

Das EVE Universe: eine Forschungsgrenze

Fenris Creations – das Studio hinter EVE Online, früher bekannt als CCP Games – hat mehr als zwei Jahrzehnte damit verbracht, eine der außergewöhnlichsten persistenten Welten im Gaming aufzubauen. EVE Online, 2003 gestartet, ist eine massiv mehrspielerfähige Weltraumsimulation, in der Tausende von Spielern ein einziges Universum teilen, das sich seit mehr als 20 Jahren kontinuierlich weiterentwickelt. Seine spielergetriebene Wirtschaft umfasst echte Angebots- und Nachfragedynamiken sowie Handelsnetzwerke, die sich über Tausende Sternsysteme erstrecken. Seine Landschaft – geprägt von Allianzen, Konflikten und Diplomatie – wird durch menschliche Interaktion bestimmt, und die Spielerkriege haben einige der größten Schlachten in der Geschichte des Online-Gamings hervorgebracht.

Für die KI-Forschung ist das eine einmalige Gelegenheit. Es ist eine lebendige, sich entwickelnde Welt, die genau jene Fähigkeiten verlangt, die Google DeepMind für Frontier-KI für wesentlich hält:

• Kontinuierliches Lernen: Neue Fähigkeiten erwerben, ohne das Vorherige zu vergessen, in einer sich ständig verändernden Welt.
• Gedächtnis: Wissen über Zeiträume hinweg aufbauen und abrufen, die weit über die heutigen Kontextfenster von Modellen hinausgehen.
• Langfristige Planung: Über Wochen, Monate oder sogar Jahre hinweg denken.
• Komplexe Multi-Agenten-Dynamik: Kooperation, Wettbewerb, Verhandlung, Wirtschaft und emergentes Sozialverhalten im großen Maßstab navigieren.

Diese Herausforderungen stehen im Zentrum von Google DeepMinds breiterer Forschungsinitiative, Systeme zu schaffen, die kontinuierlich aus Erfahrung lernen, wobei sich das Lerntempo im Zeitverlauf beschleunigt. Das Unternehmen ist der Ansicht, dass diese Frontier-Fähigkeiten künftig neue Spielerlebnisse erschließen könnten.

EVE Online wurde von Anfang an als Sandbox mit dauerhaften Konsequenzen konzipiert, geprägt von seinen Spielern. Dies hat über die Jahrzehnte unzählige Geschichten menschlichen Wachstums für Spieler und Mitarbeitende hervorgebracht. Gemeinsam mit Google DeepMind betreten wir Neuland, in dem KI auf Zeitskalen lernen, sich anpassen und erinnern muss, die keine andere Spielumgebung verlangt, während wir besser verstehen, wie Menschen und KI in einer virtuellen Umgebung koexistieren können, bevor wir uns in der realen Welt mit denselben Fragen auseinandersetzen müssen.

Die Forschungskooperation erstreckt sich über das wachsende Universum von Fenris Creations und bietet unterschiedliche Umgebungen für die KI-Entwicklung. Während EVE Online ein persistentes Single-Shard-Universum im großen Maßstab bietet, wird EVE Vanguard aus der First-Person-Perspektive gespielt und bringt taktische Entscheidungen auf Bodenniveau und in hohem Tempo in die breitere persistente Welt. Dies schafft Möglichkeiten, Agenten auf mehreren Abstraktionsebenen zu untersuchen, von Reaktionen im Millisekundenbereich bis hin zu galaxisweiter Strategie.

Darüber hinaus bietet EVE Frontier – mit seinen programmierbaren „Smart Assemblies“ und seiner offenen, erweiterbaren Architektur – eine ergebnisoffene Umgebung, in der sich die Regeln der Welt selbst ändern können, was Agenten erfordert, die sich an völlig neue Spielmechaniken anpassen.

Die Zusammenarbeit hat bereits einen konkreten Mehrwert für Spieler geschaffen: Das Aura Guidance system nutzt Gemini, um auf Grundlage realer Rookie-Help-Fragen und -Antworten von Spielern generiertes Wissen bereitzustellen und neuen Piloten zu helfen.

Das längerfristige Forschungsprogramm beginnt mit einer Offline-Instanz von EVE Online, einer sicheren Sandbox getrennt von Live-Spielern. Anschließend folgt EVE Frontier als Raum, um zu untersuchen, wie Menschen und Agenten in einer persistenten und offenen Welt koexistieren können. Erst wenn die Fähigkeiten ausgereift sind, würde Google DeepMind erwägen, sie in EVE Online und EVE Vanguard zu integrieren, mit dem Ziel, das menschliche Spiel zu bereichern.

Der Weg nach vorn

Spiele waren schon immer ein Spiegel der Intelligenz. Je komplexer, persistenter und offener sie werden, desto anspruchsvoller werden auch die KI-Systeme, die sie navigieren.

Google DeepMind verfolgt weiterhin dasselbe oberste Ziel wie immer: KI als Katalysator, nicht als Ersatz. Die langfristige Ambition des Unternehmens ist es, bahnbrechende Spielerlebnisse zu ermöglichen, Spiele zugänglicher und personalisierter zu machen und – wie sich von AlphaGo bis AlphaFold gezeigt hat – Erkenntnisse aus Spielen auf Probleme der realen Welt anzuwenden und wissenschaftliche Entdeckungen voranzutreiben. Der erklärte Fahrplan der Partnerschaft sieht vor, dass die nächsten Meilensteine Forschungsergebnisse aus der Offline-Instanz von EVE Online sind, gefolgt von Experimenten zum Zusammenleben von Mensch und Agent in EVE Frontier – wobei eine Integration in Live-Spiele erst dann erfolgen würde, wenn die Fähigkeiten ausgereift sind.

Das Team dankte allen Spielepartnern auf diesem Weg sowie Fenris Creations für die Mitwirkung am nächsten Kapitel und sagte, es könne es kaum erwarten, zu teilen, was es entdeckt.

Danksagungen

Google DeepMind würdigte die vielen Teams im gesamten Unternehmen für ihre Beiträge über die Jahre hinweg zur sicheren und verantwortungsvollen Weiterentwicklung der KI-Forschung in Spielen und sprach allen Spieleentwicklern besonderen Dank aus, die mit dem Unternehmen zusammengearbeitet haben: Coffee Stain (Valheim, Satisfactory, Goat Simulator 3), Fenris Creations (EVE Online, EVE Vanguard, EVE Frontier), Foulball Hangover (Hydroneer), Hello Games (No Man's Sky), Keen Software House (Space Engineers), RubberbandGames (Wobbly Life), Strange Loop Games (Eco), Thunderful Games (ASKA, The Gunk, Steamworld Build), Digixart (Road 96) und Tuxedo Labs & Saber Interactive (Teardown).

Quelle: Google DeepMind Blog — https://deepmind.google/blog/from-atari-to-eve-online-building-on-15-years-of-ai-research-in-games/