Google DeepMind представляет Genie 4 — модель симуляции мира нового поколения

Раия Хадселл, Диего Ривас и Хан Ци

Google DeepMind объявила о выпуске Genie 4 — новой модели мира, созданной для более реалистичных интерактивных симуляций в реальном времени. Изначально мультимодальная система способна генерировать музыку, фоновые шумы и интерактивные диалоги одновременно с симулируемым миром.

Genie 4 включает возможности семейства Gemini. Gemini Omni привязывает симуляции к реалистичному внешнему виду и поведению, а другие модели Gemini обеспечивают рассуждения, необходимые для поддержания связности и непрерывности. Пользователи могут запустить событие, и Genie 4 симулирует его дальнейшее развитие: как реагирует окружение, как оно звучит и как люди двигаются, реагируют и говорят.

Google DeepMind заявила, что понимание и симуляция мира — важный аспект создания AGI. По словам компании, Genie 4 может поддерживать создание обучающих сред для роботов и агентов, а также разработку интерактивных приложений. В этом смысле модели мира позиционируются как дополнение к языковым моделям: одни моделируют развитие сред в пространстве и времени, другие — выражение идей и инструкций — и DeepMind целенаправленно движется к этой связке Gemini и Genie, описанной ниже.

Компания начала развертывание Genie 4 в качестве исследовательского превью для доверенных тестировщиков и собирает обратную связь перед более широким выпуском для потребителей и разработчиков. Следующий этап начнется с подписчиков Google AI Ultra в Project Genie и партнеров раннего доступа, использующих Gemini API и Google AI Studio. Лист ожидания доступен через Project Genie. Поэтапное развертывание также дает внешним наблюдателям структурированный способ отслеживать прогресс по известным слабым местам модели, таким как согласованность в длинных сессиях и точность звука в реальном времени, до общего релиза.

Genie 4 обеспечивает улучшенный фотореализм, плавное движение и нативный звук. Google DeepMind сообщила, что звук в демонстрациях был сгенерирован непосредственно моделью.

Четыре возможности, выделенные Google DeepMind

Представленные ниже демонстрации показывают взаимодействия в реальном времени, где пользователи управляют навигацией и камерой с помощью стандартной клавиатуры, а сценами — с помощью текстовых промптов.

Симуляция мира в реальном времени

Genie 4 позволяет изменять симуляцию инструкциями на естественном языке — например, менять погоду, перемещать камеру или добавлять человека или объект. Gemini адаптирует промпт к окружающей сцене, а также отслеживает и направляет среду между вводами пользователя, чтобы симуляция развивалась связно. Именно эта непрерывная управляемость отличает интерактивные модели мира от заранее отрендеренного видео: среда продолжает развиваться и реагировать даже между вводами пользователя.

В одной демонстрации референсное изображение используется как точный первый кадр сцены с парящей прямоугольной платформой, выветренными бетонными краями, дикими травами, папоротниками, скрученным деревцем, светящейся янтарной сферой и мужчиной средних лет в свободном коричневом костюме, играющем на саксофоне. Заданный визуальный стиль — предельно натуралистичная низкоконтрастная документальная сцена, снятая на 16-мм пленку с деликатным зерном, приглушенными естественными цветами, приподнятыми тенями, мягкими светами и рассеянным пасмурным светом. Платформа парит над тихим озером в окружении туманных лесов, над водой дрейфует туман, а янтарная сфера отражается в озере.

Саксофонист остается в кадре, пока камера независимо движется над водой. Промпт требует реалистичного дыхания, движений пальцев, легкого покачивания тела, пространственной непрерывности, звуковой атмосферы озера, далекого ветра, мягкого движения воды и реалистичного звука саксофона — без фоновой музыки, кроме инструментов, физически присутствующих в сцене.

Другие примеры включают залитую солнцем луговую поляну на холме с высокой зеленой травой, фиолетовыми, белыми и желтыми полевыми цветами, низкими кустарниками и далекими сине-зелеными холмами. Непрерывная лента блестящей розового атласной ткани вьется через поляну размашистыми S-образными изгибами, вздымаясь над цветами, словно река из шелка.

Отдельный промпт изображает вид с воздуха на Антарктиду со снежными ледниками, изрезанными горами и голубыми айсбергами под полярным солнцем. На разном расстоянии видны воздушные шары, включая крупный кремово-красно-синий полосатый шар. Вид от первого лица — из плетеной ивовой корзины воздушного шара, с взглядом через окантованный кожей край, черные опорные стойки, металлические цепи и темное основание купола.

Физика и действия человека

Google DeepMind сообщила, что Genie 4 построена на продвинутом физическом понимании мира и может симулировать сценарии с аэродинамикой, столкновениями и другой физикой реального мира. Работа с людьми описана как значительный прогресс: персонажи двигаются естественно, реагируют на окружение и могут управляться интерактивно в реальном времени. Физическая правдоподобность — ключевой ориентир для моделей мира, поскольку обучение роботов и агентов в симуляции зависит от того, приводят ли симулированные действия к реалистичным последствиям.

Демонстрации включают блестящий арбуз в зеленую полоску на выветренном каменном постаменте в залитом солнцем дворе, где капли в воздухе подсвечены замедленной съемкой; семя клена, падающее с дерева в траву; и переполненный сельский японский вокзал 1980-х. В сцене вокзала инспектор железной дороги в темно-синей форме наблюдает за пассажирами, которые ждут, ходят, садятся в поезд и несут багаж. Длинный темно-красный пригородный поезд занимает ближайший путь, а вокруг станции — зеленые горы, кедровые леса и влажная летняя дымка. Промпт задает аутентичную японскую атмосферу 1980-х, документальную 35-мм фотографию, естественное освещение, деликатное зерно и плотную толпу вместо пустой или малолюдной платформы.

Нативный звук и интерактивные диалоги

Genie 4 — первая модель мира Google DeepMind, генерирующая звук в реальном времени. Ее среды могут включать звуки, свойственные месту: шелест ветра в деревьях, шум волн на пляже. Нативная генерация звука вместе с изображением — определяющая черта моделей мира в реальном времени, устраняющая необходимость сочетать сгенерированное видео с отдельно созданным аудио. Компания также выделила интерактивные диалоги: персонажи способны вести беседу и реагировать на вводы пользователя или события в мире в реальном времени.

В одной демонстрации Genie 4 создает полностью трехмерный пейзаж из витражного стекла, который можно исследовать, будто камера движется сквозь гигантское хрустальное окно. Река, трава, цветы, деревья, горы, облака, небо и солнце выполнены из полупрозрачного цветного стекла с темными свинцовыми контурами и многослойными панелями. Промпт требует, чтобы мир полностью сохранял витражный стиль — без природных текстур, современных объектов и обычных поверхностей реального мира.

Другая демонстрация показывает вид от первого лица: рыцарь мчится на гигантском черном драконе со скоростью 140 км/ч по горной гоночной трассе. Лицо, тело и силуэт всадника не видны; видны только его руки, шея и верх спины дракона, пейзаж, другие драконы со всадниками и замок с катапультами на стенах. Промпт требует реалистичных взмахов крыльев, ветра, размытия движения и движения головы, а аудио состоит из взмахов крыльев, высотного ветра, отдаленного вулканического гула и потрескивания углей.

Еще один пример изображает двух корейских возлюбленных двадцати с небольшим лет на мотоцикле, пересекающих мост под Гонконгом на рассвете — в духе независимой романтической драмы 1995 года. Водитель-мужчина без шлема, пассажирка со светлой кожей — в открытом шлеме. Сцена оформлена как интимный, меланхоличный 35-мм фильм с черными полосами, малой глубиной резкости, оранжевыми фонарями и темно-зеленым небом.

Сложные события с моделями Gemini

Google DeepMind сообщила, что объединение Gemini и Genie 4 добавляет рассуждения для сложных многошаговых событий и позволяет тестировать ИИ-системы в симулированных средах до их применения в реальном мире.

В режиме реального времени Gemini 3.8 Flash выступает направляющим агентом: пока Genie 4 генерирует мир, Gemini непрерывно наблюдает сцену, разбивает цели на последовательность шагов, проверяет входящие кадры и подтверждает выполнение каждого шага. При изменении мира или вмешательстве пользователя Gemini адаптирует план на лету, обеспечивая достоверную причинность, процедурное поведение и многошаговые рассуждения.

Примеры включают Universal Robots UR5, держащий пипетку и дозирующий жидкость в лабораторную планшету с возникновением крошечных электрических искр. Другой промпт описывает путешествие от первого лица через роскошный, давящий антикварный салон. Зритель держит резной деревянный с полированной латунью волшебный жезл, а в комнате — тысячи глазурованных фарфоровых животных, включая павлинов, собак и кошек. Заданная сцена включает реалистичные текстуры кожи и дерева, керамическую глазурь, микротрещины эмали, пыль, зерно пленки, оптические эффекты, скрип половиц, дыхание и тихий звон фарфора.

В той же последовательности — настоящий фокусник рядом с высоким деревянным столом, на котором стоит открытый прямоугольный деревянный ящик с павлином внутри. Требуются естественное освещение, реалистичные актеры и эстетика престижного современного телесериала — без театра, сцены, фэнтези и вида CGI. Еще один промпт показывает венценосного журавля, идущего по снегу под ясным сумеречным небом, в документальном стиле.

Google DeepMind также сообщила, что экспериментирует с Gemini 4 Argon и Genie 4 в связке с Gemini Robotics. В одном примере Argon разбивает задачу, заданную пользователем, на шаги для рендеринга Genie, отображая шаги в виде текстовых подписей по мере прогресса симуляции. С помощью Gemini 4 Argon и Genie 4 была симулирована игра Apptronik Apollo — гуманоида, играющего в шашки, — с разбиением задачи на шаги в реальном времени.

Отзывы доверенных тестировщиков

Google DeepMind описывает Genie 4 как раннюю экспериментальную модель. Компания работала с доверенными тестировщиками из креативных индустрий, журналистики, образования, геймдева и инженерии, чтобы понять, как интерактивные модели мира могут поддерживать реальные рабочие процессы и где требуется дальнейшее развитие.

Креативные специалисты и технологи тестируют Genie 4 как быстрый черновой режим для препродакшна и генерации идей. Кинематографисты могут входить в живую симуляцию и делать несколько «дублий», изменяя ракурсы камеры, освещение, диалоги и действие на лету. На этом раннем этапе живая управляемая симуляция служит общим черновым пространством, где камера, звук и действие могут корректироваться совместно до перехода к производству.

Фоторепортеры исследуют, как одиночный двухмерный архивный снимок может за секунды стать достоверной симуляцией своей среды. Команды также тестируют населенные динамические миры для погружения в исторические пространства и визуализации краткосрочных событий, таких как внезапные наводнения и лесные пожары.

Разработчики игр и креативные технологи используют промпты на естественном языке, чтобы за секунды перейти от идеи к исследуемому прототипу, тестируя визуальные стили, материалы и интерактивную механику до написания кода движка. Корпоративные партнеры в разных отраслях оценивают Genie 4 для быстрой генерации сценариев «с нуля» и выявляют пробелы в ее симуляционных возможностях.

К гибридным моделям мира

По словам Google DeepMind, перспективное направление — гибридные модели мира, сочетающие структурированные рассуждения кода и языковых моделей с чувственным представлением попиксельной симуляции. Сближение Genie и Gemini — ранний шаг в этом направлении.

Gemini может выстраивать структуру и планировать нарративную хронологию, а Genie генерирует непосредственную физическую реальность — как мир выглядит, звучит и реагирует, пиксель за пикселем. Google DeepMind заявила, что такое сочетание может дать модели мира, более связные, управляемые и обоснованные, чем каждая из подходов по отдельности.

Безопасность и прозрачность

Genie 4 сочетает генерацию в реальном времени с фотореализмом и вводит новые возможности, которые, как заявляет Google DeepMind, компания намерена внедрять ответственно. Модель включает строгие меры безопасности, соответствующие политикам компании для других моделей.

До запуска превью Google DeepMind провела внутренние строгие проверки безопасности для предотвращения генерации вредоносного контента. Доступ сначала был ограничен доверенными партнерами-тестировщиками для сбора ранней обратной связи перед более широким выпуском.

Все видео и аудио, сгенерированные Genie 4, будут содержать SynthID — незаметную технологию цифровых водяных знаков Google для идентификации ИИ-контента в визуальных и аудио форматах. Водяные знаки отвечают на ключевой вопрос фотореалистичной генерации: можно ли идентифицировать созданные ИИ видео и аудио как синтетические после их распространения.

Текущие ограничения

Genie 4 остается развивающимся исследовательским проектом. Она способна поддерживать связные среды в коротких сессиях, однако визуальные детали и постоянство объектов могут со временем смещаться — особенно в более длинных симуляциях, после множественных сложных правок промптов или при активной навигации по сцене.

Google DeepMind сообщила, что сложные физические взаимодействия, точность звука в реальном времени, читаемая генерация текста, пространственная точность и долгосрочная согласованность остаются активными направлениями исследований. Именно эти открытые вопросы призвано проверять поэтапное развертывание, и они дают ранним пользователям конкретный чек-лист для оценки того, насколько интерактивные модели мира приблизились от демонстраций к надежным инструментам. Компания выпускает Genie 4 как превью, чтобы учиться вместе с сообществом и контролируемо развивать интерактивную симуляцию.

Доступность

Genie 4 выпущена как исследовательское превью для доверенных тестировщиков. Скоро она станет доступна подписчикам Google AI Ultra в Project Genie и партнерам раннего доступа, использующим Gemini API и Google AI Studio. Лист ожидания доступен через Project Genie.

Оригинальное объявление опубликовано в Google DeepMind Blog.

Благодарности

Google DeepMind отметила вклад Хан Ци, Диего Риваса, Александра Холыньского, Инбар Моссери, Джека Паркера-Холдера, Шломи Фрухтера, Теджаса Кулкарни, Джеймса Асьене, Филипа Болла, Якоба Бауэра, Эдди Цао, Люси Чай, Харриса Чана, Клеопатры Чатзиприму, Хао Чена, Йони Чукруна, Марка Коллиера, Энрика Короны, Куртиса Дэвида, Ариэля Эфрата, Максима Газо, Жуйци Гао, Челси Гловер-Одом, Лянкэ Гуй, Сварупа Гунтупалли, Шань Хань, Тингбо Хоу, Иржи Хрона, Хуэй Хуана, Дрю А. Хадсона, Чжоюаня Хуо, Линьи Цзинь, Христоса Капланиса, Дхрупада Карвы, Ынён Ким, Цунтао Куана, Элиота Лейдлоу, Хосе Лесамы, Хао Ли, Шуан Ли, Юйчэня Лю, Ханьцзы Мао, Марка Мэтьюза, Мэтта МакГилла, Кэй Маккинни, Рикардо Монти, Марка Мёрфи, Джозефа Ортиса, Рони Паисса, Франка Пербе, Бена Пула, Таль Рейсс, Константиноса Рематаса, Гая Скулли, Джереми Шара, Шашанка Шастри, Шри С, Омера Това, Рубена Вильегаса, Андрея Войнова, Хунцзе Вана, Луюй Вана, Каустубха Шридхара, Мо Самсами, Стивена Спенсера, Юйфэя Вана, Уилла Уитни, Рунди Ву, Джойс (Цзинцзин) Се, Джесси Ина, Ширана Зады, Серэны Чжан, Сяофаня Чжана, Чжэнци Ли, Чжисина Чжана, Юаня Чжуна, Шо-Инь Чана, Дмитрия Лагуна, Ронни Хуанга, Яо Су, Анкуша Гупты, Гэньчжи Е, Хаолиня Цзя, Вэйциня Вана, Си Сионга, Салаха Заима и Кэрол Чжэн.

Компания также поблагодарила кросс-функциональных партнеров: Дину Башкирову, Эмиля Бергнера, Грету Бориско, Ирину Блок, Мелиссу Бён, Гейба Клаппера, Вирала Карпентера, Майкла Ю. Чанга, Максимо Кудича-Сибургера, Хлою Доан, Алису Фортин, Шивани Ганту, Викрама Гопали, Эзру Гормана, Кхьятти Гупту, Сэма Хасиноффа, Филиппа Хенцлера, Эктора Иниестрозу, Эда Хёрста, Тайлера Холланда, Кристиана Холсхеймера, Тиффани Ху, Капила Джоши, Рандипа Катари, Павана Кумара, Викхьята Кумериа, Сэма Кваалена, Мэттью Левина, Иньсяо Ли, Юйчи Лю, Мяо Луо, Ника Матарезе, Канфу Мэй, Сигне Норли, Мойсеса Оливейру, Эрика Паски, Манику Пури, Сусанну Рикко, Андрея Рябцева, Цай Шуманна, Николь Бриктову, Энди Секьере, Грейс Ши, Мелиссу Смит, Дункана Нобла Смита, Кенду Стюарт, Рода Стругго, Дженн Стерджен, Эми Цзэн, Габи Перл, Элеанор Томлинсон, Кеньона Уотсона, Инеш Айер, Люка Тэлбота, Хань-Юнь Цао, Гийома Вернада, Карен Ванг, Чанчан Wu, Иэна Уилкинсона, Вэйцзянь Си, Дженнифер Йик, Юньхань Чжао, Эрика Чжана, Джейсона Чжана, Энни Чжоу, Джеймса Чжоу, Криса Уокера, Алана Яма, Алекса Чена, Клиффа Лунгаретти, Дэна Моценбекера, Калояна Колева, Мэтью Кэри, Нейта Цукера, Сэма Лоутона, Шашвата Сантоша и Саз Чамберс.

Google DeepMind также поблагодарила Раию Хадселл, Аарона ван ден Оорда, Джоша Вудворда, Стива Зейца, Карлоса Эрнандеса, Элиаса Романа, Чон Ы. Ким, Абхишека Бапну, Эли Коллинза, Тулси Доши, Каролину Прада, Цзе Тан, Корай Кавукчуоглу и Демиса Хассабиса за руководство и поддержку, а также доверенных тестировщиков и пользователей раннего доступа за предоставленную обратную связь.