Par Alexandre Moufarek et Adrian Bolton

D’Atari à Go en passant par StarCraft, les jeux ont été à l’origine de certaines des plus grandes avancées de l’IA. Google DeepMind collabore désormais avec des développeurs de jeux pour prototyper de nouvelles expériences de jeu qui repoussent les limites à la fois du jeu vidéo et de l’IA.

Depuis la création de DeepMind en 2010, les mondes contraints mais riches des jeux ont joué un rôle essentiel dans la compréhension de l’intelligence. Ils ont permis certaines des plus grandes avancées de l’entreprise en IA, de la maîtrise d’Atari à l’aide à la résolution de la prédiction de la structure des protéines — et ils sont toujours au cœur de l’activité de l’équipe.

Le jeu vidéo fait partie de l’ADN de Google DeepMind (GDM). Demis Hassabis, l’un des fondateurs de Google DeepMind, est lui-même un ancien développeur de jeux — il a débuté chez Bullfrog Productions en travaillant sur le hit de 1994 Theme Park avant de fonder son propre studio, Elixir Studios — tout comme de nombreux membres de l’équipe GDM. Ensemble, ils cumulent des décennies d’expérience pratique dans le développement de jeux et un profond respect pour l’art de les concevoir.

Google DeepMind a toujours été clair sur le fait que mener des recherches en IA avec les jeux exige un partenariat étroit avec les développeurs — comme le nouveau grand partenariat de recherche avec Fenris Creations et l’univers EVE dévoilé plus tôt cette année, ainsi que les travaux menés avec des studios reconnus tels que Hello Games, Coffee Stain Studios, Foulball Hangover et d’autres.

Les jeux comme moteur de la recherche en IA

Le parcours a commencé lorsqu’une petite équipe a entraîné un réseau neuronal profond à jouer aux jeux Atari 2600 directement à partir des pixels bruts. Le Deep Q-Network (DQN) a appris à jouer à 49 jeux différents — de Pong à Breakout en passant par Space Invaders — sans aucune ingénierie spécifique à un jeu. L’article de Nature de 2015 sur DQN a contribué à catalyser l’ère moderne de l’apprentissage par renforcement profond.

À partir de là, l’équipe a tenté de maîtriser des jeux plus complexes, chaque étape produisant des systèmes plus performants et plus généraux. AlphaGo a battu Lee Sae Dol, champion du monde de Go, en 2016 — un exploit que de nombreux experts pensaient encore à une décennie d’intervalle. AlphaGo Zero a dépassé toutes les versions précédentes en apprenant entièrement par auto-jeu, sans aucune donnée humaine. AlphaZero a généralisé cette approche pour maîtriser les échecs, le shogi et le Go avec un seul algorithme, tandis que MuZero a appris à jouer sans même connaître les règles. En 2019, AlphaStar a atteint le niveau Grandmaster dans StarCraft II, en naviguant dans une complexité en temps réel et une information imparfaite.

Pour chaque jeu, l’IA a enrichi l’expérience de jeu. Le célèbre Coup 37 d’AlphaGo — joué lors de la deuxième partie du match de 2016 — a été un coup si inattendu que les commentateurs professionnels ont d’abord pensé qu’il s’agissait d’une erreur, renversant des siècles de sagesse établie dans le Go et incitant des experts à explorer de nouvelles stratégies. AlphaZero a également inspiré des lignes de jeu entièrement nouvelles aux échecs. Surtout, l’esprit d’exploration qui a permis ces succès dans les jeux a eu des effets profonds sur d’autres systèmes d’IA : AlphaFold a appliqué ces fondations pour aider à résoudre le défi majeur de 50 ans que constituait la prédiction de la structure des protéines, une avancée reconnue par le prix Nobel de chimie 2024.

De la maîtrise des jeux à leur compréhension

Des travaux antérieurs ont montré que l’IA pouvait maîtriser n’importe quel jeu pour peu qu’elle dispose d’un objectif clair et d’un entraînement suffisant. Mais le monde réel ne s’accompagne ni de scores ni de livres de règles — ce qui a conduit l’équipe à poser une question fondamentalement différente : l’IA peut-elle comprendre et interagir avec n’importe quel univers de jeu comme le ferait une personne ?

C’est le défi derrière SIMA, le Scalable Instructable Multiworld Agent, présenté pour la première fois par Google DeepMind en 2024. Plutôt que d’optimiser un score élevé, SIMA est un agent généraliste qui « voit » ce qu’un joueur verrait à l’écran, comprend des instructions en langage naturel et agit via les commandes ordinaires du clavier et de la souris — sans nécessiter d’API ni d’accès au code source.

Propulsé par Gemini, les modèles d’IA de pointe de Google, SIMA 2 agit comme un compagnon interactif capable de raisonnement et de conversation en temps réel. Il atteint un niveau de jeu proche de celui d’un humain dans des environnements de recherche 3D complexes et dans des jeux vidéo tels que No Man's Sky, Valheim, Hydroneer, et d’autres.

Pour les développeurs de jeux, un agent de jeu véritablement général ouvrirait des capacités d’IA compatibles avec les jeux existants — sans modification du code du jeu. Cela pourrait permettre des formes de jeu entièrement nouvelles, allant d’accompagnateurs IA qui comprennent réellement le monde du jeu à des personnages non joueurs (PNJ) capables de s’adapter et de réagir d’une manière que les systèmes scriptés ne pourraient jamais reproduire.

Un agent de jeu général pourrait également transformer la manière dont les jeux sont créés. Pendant le développement, lorsque le jeu change à chaque commit, de tels agents pourraient permettre des tests QA véritablement robustes. Après la sortie, lorsque du nouveau contenu est introduit ou que les joueurs se comportent de manière imprévisible, ils pourraient s’adapter en temps réel — en généralisant à de nouvelles situations sans avoir à être réécrits.

Pour développer les agents SIMA de manière sûre et responsable, Google DeepMind s’est associé à des studios de jeux reconnus et construit un portefeuille croissant de jeux pour la recherche en IA. Cela permet à l’équipe de soumettre ses agents à des tâches toujours plus complexes qui pourraient un jour se transposer à la résolution de problèmes dans le monde réel.

Explorer de nouvelles frontières de la recherche en IA et en jeux, avec les développeurs de jeux

Les studios de jeux apportent un savoir-faire expert, des mondes de jeu extraordinaires et une connaissance approfondie de leurs joueurs. Google DeepMind apporte une IA de pointe — de Gemini à la recherche sur les environnements interactifs génératifs et les agents incarnés —, une expertise de recherche et le bagage unique de son équipe en développement de jeux, ainsi que des années d’expérience dans la création d’IA pour des environnements interactifs. Ensemble, les partenaires se concentrent sur la découverte d’expériences inédites : un gameplay jamais vu auparavant et qui ne serait pas possible sans l’IA.

L’enjeu n’est pas la technologie en elle-même, mais des expériences ludiques. Google DeepMind adopte donc une approche « montrer, ne pas raconter » avec ses partenaires. L’équipe travaille main dans la main avec les développeurs de jeux, explore de nouvelles idées et construit des prototypes jouables pour trouver ce qui est amusant.

Le tout dernier partenariat de recherche avec Fenris Creations, le studio indépendant à l’origine de l’univers EVE, représente un nouveau chapitre dans l’histoire de la recherche en IA dans les jeux chez Google DeepMind.

L’univers EVE : une frontière de recherche

Fenris Creations — le studio à l’origine de EVE Online, anciennement connu sous le nom de CCP Games — a passé plus de deux décennies à construire l’un des mondes persistants les plus extraordinaires du jeu vidéo. EVE Online, lancé en 2003, est une simulation spatiale massivement multijoueur où des milliers de joueurs partagent un même univers qui a évolué en continu pendant plus de 20 ans. Son économie pilotée par les joueurs repose sur de véritables dynamiques d’offre et de demande et sur des réseaux commerciaux couvrant des milliers de systèmes stellaires. Son paysage — façonné par les alliances, les conflits et la diplomatie — est porté par l’interaction humaine, et les guerres entre joueurs ont donné lieu à certaines des plus grandes batailles de l’histoire du jeu en ligne.

Pour la recherche en IA, c’est une occasion exceptionnelle. Il s’agit d’un monde vivant, en évolution, qui exige précisément les capacités que Google DeepMind estime essentielles pour l’IA de pointe :

• Apprentissage continu : acquérir de nouvelles compétences sans oublier ce qui précède, dans un monde en constante évolution.
• Mémoire : accumuler et retrouver des connaissances sur des échelles de temps qui dépassent largement les fenêtres de contexte des modèles actuels.
• Planification à long horizon : raisonner sur des semaines, des mois, voire des années.
• Dynamique multi-agent complexe : naviguer à grande échelle entre coopération, compétition, négociation, économie et comportements sociaux émergents.

Ces défis sont au cœur de l’initiative de recherche plus large de Google DeepMind, qui vise à créer des systèmes apprenant continuellement de l’expérience, avec un rythme d’apprentissage qui s’accélère au fil du temps. L’entreprise estime que ces capacités de pointe pourraient ouvrir de nouvelles expériences de jeu à l’avenir.

EVE Online a été conçu dès le premier jour comme un bac à sable aux conséquences durables, façonné par ses joueurs. Cela a donné lieu à d’innombrables histoires de développement humain pour les joueurs et les employés au fil des décennies. Avec Google DeepMind, nous avançons en terrain inconnu, où l’IA doit apprendre, s’adapter et se souvenir sur des échelles de temps qu’aucun autre environnement de jeu n’exige, tout en nous aidant à comprendre comment les humains et l’IA peuvent coexister dans un environnement virtuel avant que nous n’ayons à faire face aux mêmes questions dans la vie réelle.

Le partenariat de recherche s’étend à l’univers en expansion de Fenris Creations, offrant des environnements distincts pour le développement de l’IA. Alors que EVE Online propose un univers persistant à grande échelle sur un seul shard, EVE Vanguard se joue à la première personne, apportant une prise de décision tactique rapide et de terrain à l’univers persistant plus large. Cela crée des opportunités d’étudier des agents opérant à plusieurs niveaux d’abstraction, des tactiques de réactivité instantanée à la stratégie à l’échelle de la galaxie.

En outre, EVE Frontier — avec ses « Smart Assemblies » programmables et son architecture ouverte et extensible — offre un environnement ouvert où les règles mêmes du monde peuvent changer, exigeant des agents qu’ils s’adaptent à des mécaniques de jeu totalement nouvelles.

La collaboration a déjà apporté une valeur concrète aux joueurs : le système Aura Guidance utilise Gemini pour fournir des connaissances générées par les joueurs, fondées sur de vraies questions et réponses de Rookie Help, afin d’aider les nouveaux pilotes.

Le programme de recherche à plus long terme commence avec une instance hors ligne de EVE Online, qui constitue un bac à sable sûr, séparé des joueurs en ligne. Il se poursuit ensuite dans EVE Frontier comme espace d’étude de la cohabitation entre humains et agents dans un monde persistant et ouvert. Ce n’est que lorsque les capacités seront mûres que Google DeepMind envisagerait de les introduire dans EVE Online et EVE Vanguard, dans le but d’enrichir le jeu humain.

La route à venir

Les jeux ont toujours été un miroir de l’intelligence. À mesure qu’ils deviennent plus complexes, plus persistants et plus ouverts, les systèmes d’IA conçus pour les appréhender le deviennent aussi.

Google DeepMind vise le même objectif final qu’il a toujours poursuivi : faire de l’IA un catalyseur, non un remplacement. Son ambition à long terme est de débloquer des expériences de jeu marquantes, de rendre les jeux plus accessibles et plus personnalisés, et — comme on l’a vu d’AlphaGo à AlphaFold — d’appliquer ce qui est appris dans les jeux à des problèmes du monde réel et de faire progresser la découverte scientifique. Conformément à la feuille de route annoncée du partenariat, les prochaines étapes seront des résultats de recherche issus de l’instance hors ligne de EVE Online, suivis d’expériences de cohabitation humain-agent dans EVE Frontier — toute intégration dans un jeu en direct n’intervenant qu’une fois les capacités arrivées à maturité.

L’équipe a remercié tous ses partenaires de jeu pour ce parcours, ainsi que Fenris Creations pour rejoindre ce nouveau chapitre, en ajoutant qu’elle avait hâte de partager ses découvertes.

Remerciements

Google DeepMind a reconnu les nombreuses équipes de l’organisation pour leurs contributions au fil des années à l’avancement de la recherche en IA de manière sûre et responsable dans les jeux, et a adressé ses remerciements particuliers à tous les développeurs de jeux ayant collaboré avec l’entreprise : Coffee Stain (Valheim, Satisfactory, Goat Simulator 3), Fenris Creations (EVE Online, EVE Vanguard, EVE Frontier), Foulball Hangover (Hydroneer), Hello Games (No Man's Sky), Keen Software House (Space Engineers), RubberbandGames (Wobbly Life), Strange Loop Games (Eco), Thunderful Games (ASKA, The Gunk, Steamworld Build), Digixart (Road 96) et Tuxedo Labs & Saber Interactive (Teardown).

Source : Google DeepMind Blog — https://deepmind.google/blog/from-atari-to-eve-online-building-on-15-years-of-ai-research-in-games/