Александре Муарек и Адриан Болтон

От Atari до Go и StarCraft — игры стали источником некоторых из крупнейших прорывов в ИИ. Теперь Google DeepMind сотрудничает с разработчиками игр, чтобы создавать прототипы новых игровых сценариев, расширяющих границы и игр, и ИИ.

С момента основания DeepMind в 2010 году ограниченные, но богатые миры игр играли важнейшую роль в понимании интеллекта. Они стали причиной ряда крупнейших прорывов компании в ИИ — от освоения Atari до помощи в решении задачи предсказания структуры белка — и по-прежнему находятся в центре работы команды.

Игры — в ДНК Google DeepMind (GDM). Демис Хассабис, один из основателей Google DeepMind, сам был разработчиком игр — он начинал в Bullfrog Productions, работая над хитом 1994 года Theme Park, а затем основал собственную студию Elixir Studios — как и многие участники команды GDM. Вместе они обладают десятилетиями практического опыта в разработке игр и глубоким уважением к ремеслу создания игр.

Google DeepMind всегда подчеркивала, что исследования ИИ в играх требуют тесного партнерства с разработчиками игр — как в случае с новым крупным исследовательским партнерством с Fenris Creations и EVE Universe, о котором было объявлено ранее в этом году, а также с работой, которую компания ведет вместе с признанными студиями, такими как Hello Games, Coffee Stain Studios, Foulball Hangover и другими.

Игры как двигатель исследований ИИ

Путь начался с того, что небольшая команда обучила глубокую нейронную сеть играть в игры Atari 2600 напрямую по сырым пикселям. Deep Q-Network (DQN) научилась играть в 49 разных игр — от Pong до Breakout и Space Invaders — без какой-либо инженерной доработки под конкретную игру. Статья в Nature 2015 года о DQN помогла запустить современную эпоху глубокого обучения с подкреплением.

Затем команда стала осваивать более сложные игры, и каждый новый рубеж приводил к появлению более способных и универсальных систем. AlphaGo победила чемпиона мира по го Ли Се Доля в 2016 году — достижение, которое многие эксперты считали возможным лишь через десять лет. AlphaGo Zero превзошла все предыдущие версии, обучаясь исключительно на самоигре, без каких-либо человеческих данных. AlphaZero обобщила этот подход и научилась играть в шахматы, сёги и го с помощью одного алгоритма, тогда как MuZero научилась играть, даже не зная правил. В 2019 году AlphaStar достигла уровня гроссмейстера в StarCraft II, справляясь с реалтаймовой сложностью и неполной информацией.

В каждой игре ИИ обогащал игровой процесс. Знаменитый ход 37 AlphaGo — сыгранный во второй партии матча 2016 года — был настолько неожиданным, что профессиональные комментаторы сначала сочли его ошибкой, перевернув многовековые представления о го и вдохновив экспертов на поиск новых стратегий. AlphaZero также вдохновила совершенно новые линии игры в шахматах. Что особенно важно, дух исследования, проявившийся в играх, оказал глубокое влияние на другие системы ИИ: AlphaFold использовала эти основы, чтобы помочь решить 50-летнюю грандиозную задачу предсказания структуры белка — прорыв, отмеченный Нобелевской премией по химии 2024 года.

От освоения игр к их пониманию

Ранние работы показали, что ИИ может освоить любую игру, если у него есть четкая цель и достаточно обучения. Но в реальном мире нет счетов и сводов правил — и это заставило команду задать принципиально иной вопрос: может ли ИИ понимать любой игровой мир и взаимодействовать с ним так, как это делает человек?

Именно в этом состоит задача SIMA — Scalable Instructable Multiworld Agent, впервые представленного Google DeepMind в 2024 году. Вместо оптимизации ради высокого счета SIMA — это универсальный агент, который «видит» на экране то же, что видит игрок, понимает инструкции на естественном языке и действует с помощью обычных клавиатуры и мыши — без необходимости в API или доступе к исходному коду.

Работая на базе Gemini, флагманских моделей ИИ Google, SIMA 2 выступает как интерактивный спутник, способный к рассуждению и диалогу в реальном времени. Он демонстрирует поведение, близкое к человеческому, в сложных 3D-исследовательских средах и видеоиграх, включая No Man's Sky, Valheim, Hydroneer и другие.

Для разработчиков игр по-настоящему универсальный игровой агент открыл бы возможности ИИ, работающие с существующими играми, без необходимости модифицировать код игры. Это могло бы обеспечить совершенно новые сценарии игры — от ИИ-спутников, которые действительно понимают мир игры, до неигровых персонажей (NPC), которые адаптируются и реагируют так, как не способны скриптовые системы.

Универсальный игровой агент может также изменить сам процесс создания игр. Во время разработки, когда игра меняется с каждым коммитом, такие агенты могут обеспечить действительно надежное QA-тестирование. После запуска, когда добавляется новый контент или игроки ведут себя непредсказуемо, они могли бы адаптироваться в реальном времени — обобщая новые ситуации без необходимости переписывания сценариев.

Чтобы безопасно и ответственно развивать агентов SIMA, Google DeepMind сотрудничает с известными игровыми студиями и формирует растущий портфель игр для исследований ИИ. Это позволяет команде ставить перед агентами все более сложные задачи, которые однажды могут быть перенесены на решение реальных проблем.

Исследуя новые рубежи ИИ и игр вместе с разработчиками игр

Игровые студии приносят мастерство, необычные игровые миры и глубокое понимание своих игроков. Google DeepMind приносит передовой ИИ — от Gemini до исследований в области генеративных интерактивных сред и embodied agents — исследовательскую экспертизу, а также уникальный опыт команды в разработке игр и многолетнюю практику создания ИИ для интерактивных сред. Вместе партнеры сосредоточены на поиске прорывных возможностей — ранее не виданных игровых сценариев, которые были бы невозможны без ИИ.

Речь идет не о самой технологии, а об увлекательном игровом опыте. Поэтому Google DeepMind использует с партнерами подход «show, don't tell» — «показывай, а не рассказывай». Команда работает рука об руку с разработчиками игр, исследуя новые идеи и создавая игровые прототипы, чтобы найти то, что действительно интересно.

Новейшее исследовательское партнерство с Fenris Creations, независимой студией, стоящей за EVE Universe, открывает новую главу в истории исследований ИИ в играх в Google DeepMind.

Вселенная EVE: исследовательский рубеж

Fenris Creations — студия, стоящая за EVE Online и ранее известная как CCP Games — более двух десятилетий строит один из самых необычных persistent world в игровой индустрии. EVE Online, запущенная в 2003 году, — это многопользовательский космический симулятор, в котором тысячи игроков делят одну вселенную, непрерывно развивающуюся более 20 лет. Ее экономика, управляемая игроками, основана на реальной динамике спроса и предложения и торговых сетях, охватывающих тысячи звездных систем. Ее ландшафт — сформированный союзами, конфликтами и дипломатией — определяется взаимодействием людей, а войны игроков породили одни из крупнейших сражений в истории онлайн-игр.

Для исследований ИИ это уникальная возможность. Это живой, развивающийся мир, который требует именно тех способностей, которые Google DeepMind считает необходимыми для передового ИИ:

• Непрерывное обучение: приобретение новых навыков без забывания прежнего в постоянно меняющемся мире.
• Память: накопление и извлечение знаний на временных горизонтах, значительно превосходящих текущие контекстные окна моделей.
• Долгосрочное планирование: рассуждение на протяжении недель, месяцев или даже лет.
• Сложная многоагентная динамика: навигация в условиях сотрудничества, конкуренции, переговоров, экономики и возникающего социального поведения в масштабе.

Эти задачи лежат в основе более широкой исследовательской инициативы Google DeepMind по созданию систем, которые непрерывно учатся на опыте, причем скорость обучения со временем возрастает. Компания считает, что такие передовые возможности могут в будущем открыть новые игровые сценарии.

EVE Online с самого начала задумывалась как песочница с долгосрочными последствиями, формируемая ее игроками. Это породило бесчисленные истории человеческого роста среди игроков и сотрудников на протяжении десятилетий. Вместе с Google DeepMind мы выходим на неизведанную территорию, где ИИ должен учиться, адаптироваться и запоминать в масштабах времени, которых не требует ни одна другая игровая среда, одновременно помогая нам понять, как люди и ИИ могут сосуществовать в виртуальной среде, прежде чем нам придется столкнуться с теми же вопросами в реальной жизни.

Партнерство в исследованиях охватывает расширяющуюся вселенную Fenris Creations и предлагает разные среды для разработки ИИ. В то время как EVE Online предлагает крупномасштабную persistent universe с единым shard, EVE Vanguard играется от первого лица, привнося в более широкую persistent world тактические решения в динамичном темпе и на уровне земли. Это создает возможности изучать агентов, работающих на разных уровнях абстракции — от тактики уровня реакции до стратегии, охватывающей целую галактику.

Кроме того, EVE Frontier — с программируемыми "Smart Assemblies" и открытой, расширяемой архитектурой — предлагает открытое пространство, где сами правила мира могут меняться, требуя от агентов адаптации к совершенно новым игровым механикам.

Сотрудничество уже принесло реальную пользу игрокам: система Aura Guidance использует Gemini для предоставления знаний, сформированных самими игроками на основе реальных вопросов и ответов Rookie Help, помогая новым пилотам.

Наша долгосрочная исследовательская программа начинается с автономной копии EVE Online, представляющей собой безопасную песочницу, отделенную от живых игроков. Затем она переходит к EVE Frontier как к среде для изучения того, как люди и агенты могут сосуществовать в persistent world с открытым сценарием. Только когда возможности будут достаточно зрелыми, Google DeepMind рассмотрит возможность переноса их в EVE Online и EVE Vanguard с целью обогащения человеческой игры.

Дальнейший путь

Игры всегда были зеркалом интеллекта. По мере того как они становятся сложнее, более persistent и более открытыми, такими же становятся и системы ИИ, которые мы создаем для взаимодействия с ними.

Google DeepMind стремится к той же конечной цели, что и всегда: ИИ как катализатор, а не замена. Долгосрочная цель компании — открыть прорывные игровые возможности, сделать игры более доступными и персонализированными и — как показали AlphaGo и AlphaFold — применять знания, полученные в играх, к задачам реального мира и к развитию научных открытий. Согласно заявленной дорожной карте партнерства, следующими этапами станут исследовательские результаты из автономной версии EVE Online, а затем эксперименты по сосуществованию людей и агентов в EVE Frontier — при этом интеграция в живую игру будет возможна только после достижения зрелости возможностей.

Команда поблагодарила всех своих игровых партнеров за этот путь и Fenris Creations за участие в новой главе, добавив, что с нетерпением ждет возможности поделиться тем, что будет обнаружено.

Благодарности

Google DeepMind отметила многочисленные команды по всей организации за их вклад на протяжении многих лет в безопасное и ответственное продвижение исследований ИИ в играх, а также выразила особую благодарность всем разработчикам игр, сотрудничавшим с компанией: Coffee Stain (Valheim, Satisfactory, Goat Simulator 3), Fenris Creations (EVE Online, EVE Vanguard, EVE Frontier), Foulball Hangover (Hydroneer), Hello Games (No Man's Sky), Keen Software House (Space Engineers), RubberbandGames (Wobbly Life), Strange Loop Games (Eco), Thunderful Games (ASKA, The Gunk, Steamworld Build), Digixart (Road 96) и Tuxedo Labs & Saber Interactive (Teardown).

Источник: Google DeepMind Blog — https://deepmind.google/blog/from-atari-to-eve-online-building-on-15-years-of-ai-research-in-games/