Google DeepMind 发布 Genie 4 世界模拟模型

作者:Raia Hadsell、Diego Rivas 和 Hang Qi

Google DeepMind 宣布推出 Genie 4,这是一个旨在提供更逼真、实时交互式模拟的新型世界模型。该原生多模态系统可在生成模拟世界的同时生成类似音乐的音频、环境音效和交互式对话。

Genie 4 融合了 Gemini 家族的能力。Gemini Omni 将模拟锚定在真实世界的外观与行为上,而其他 Gemini 模型则提供维持连贯性和连续性所需的推理能力。用户可以启动一个事件,Genie 4 会模拟接下来发生的事情,包括环境如何响应、发出何种声音,以及其中的人如何移动、反应和说话。

Google DeepMind 表示,理解并模拟世界是构建通用人工智能(AGI)的重要环节。公司称 Genie 4 可支持为机器人和智能体构建训练环境,并助力交互式体验的开发。从这个角度看,世界模型被定位为语言模型的对应物——一个建模环境如何在时空中展开,另一个建模思想与指令如何表达——而 DeepMind 正通过下文详述的 Gemini 与 Genie 组合明确朝着这一方向迈进。

该公司已开始以研究预览版形式向受信任的测试者推出 Genie 4,并在面向消费者和开发者更广泛发布之前收集反馈。下一阶段将从 Project Genie 中的 Google AI Ultra 订阅者以及使用 Gemini API 和 Google AI Studio 的早期访问合作伙伴开始。候补名单可通过 Project Genie 加入。分阶段推出也让外部观察者能够在正式发布前系统地追踪该模型已知薄弱环节(如长会话一致性和实时音频准确性)的改进进展。

Genie 4 旨在提供增强的照相级写实感、流畅的动作和原生音频。Google DeepMind 表示,其演示中的伴随音效均由模型直接生成。

Google DeepMind 重点展示的四项能力

以下演示展示了实时交互过程:用户使用标准键盘输入进行导航和镜头控制,并通过文本提示引导场景发展。

实时世界模拟

Genie 4 允许用户通过自然语言指令修改模拟,例如改变天气、移动镜头或添加人物或物体。Gemini 会根据上下文将提示适配到周围场景,并在用户输入之间持续监测和引导环境,使模拟保持连贯。这种持续、可引导的特性正是交互式世界模型区别于预渲染视频之处:即使在用户输入之间,环境也会持续演化并作出响应。

其中一个演示以一张参考图像作为精确的第一帧,场景包含一个悬浮的矩形平台、风化的混凝土边缘、野草、蕨类植物、一棵扭曲的小树、一个发光的琥珀色球体,以及一名身穿宽松棕色西装、吹奏黄铜萨克斯的中年男子。所要求的视觉风格是高度自然主义的低对比度纪录片场景,以 16mm 胶片拍摄,具有细腻的颗粒感、柔和的自然色调、提亮的阴影、柔和的高光和漫射的阴天光线。平台悬浮在一片被薄雾森林环绕的宁静湖泊中央,雾气在水面飘荡,琥珀色球体在湖面上倒映。

随着镜头独立地在水面上移动,萨克斯演奏者始终在画面中。提示要求真实的呼吸、手指动作、轻微的身体摇摆、空间连续性、湖泊环境音、远处的风声、轻柔的水声和逼真的萨克斯音频,且除场景中实际存在的乐器外不含背景音乐。

其他示例包括一片阳光明媚的山顶草甸,长满高高的绿草、紫色、白色和黄色的野花、低矮灌木,远处是蓝绿色的丘陵。一条闪亮的泡泡糖粉色缎带以大幅 S 形曲线蜿蜒穿过草甸,如丝绸之河一般在野花上方起伏飘动。

另一则提示描绘了南极洲的鸟瞰景象,有冰雪覆盖的冰川、嶙峋的山峰和在极地阳光下泛着蓝光的冰山。热气球出现在不同距离处,其中包括一只巨大的奶油色、红色和蓝色条纹气球。第一人称视角来自气球编织藤篮内部,越过其皮革包边的篮沿、黑色软垫支撑杆、金属索具链条和头顶球囊的深色底部眺望极地景色。

物理与人类动作

Google DeepMind 表示,Genie 4 建立在对世界的高级物理理解之上,能够模拟涉及空气动力学、碰撞等真实世界物理的场景。公司称其对人物的处理是一大飞跃,角色可以自然移动、对周围环境作出有机反应,并可被实时交互式引导。物理合理性是世界模型的核心基准,因为在模拟中训练机器人和智能体依赖于模拟动作产生逼真的后果。

演示包括:阳光照耀的庭院中,一个布满光泽的绿条纹西瓜放置在风化石台上,空中的水滴在慢动作中被逆光照亮;一颗枫树种子从树上落入草丛;以及一个 20 世纪 80 年代拥挤的日本乡村火车站。在车站场景中,一名身穿深藏青色制服的铁路检查员注视着等候、行走、上车和携带行李的乘客。一列深红色的长途本地列车停靠在离镜头最近的轨道上,而绿色群山、杉树林和潮湿的夏日薄雾环绕着车站。提示要求真实还原 20 世纪 80 年代的日本氛围、35mm 纪录片摄影、自然光、细腻的胶片颗粒,以及密集的人群而非空旷或稀疏的站台。

原生音频与交互式对话

Genie 4 是 Google DeepMind 首个原生生成音频的实时世界模型。其环境可以包含特定场景的声音,例如林间风声和海滩浪声。在生成视觉内容的同时原生生成声音是实时世界模型的标志性特征,免除了将生成画面与单独制作的音频配对的需要。公司还重点介绍了交互式对话,角色能够实时交谈并回应用户输入或世界中的事件。

其中一个演示要求 Genie 4 创建一个完全三维的彩绘玻璃景观,可以像镜头穿过一扇巨大的水晶窗一样探索。河流、草地、花朵、树木、山脉、云朵、天空和太阳均由半透明彩色玻璃、深色铅条轮廓和分层面板构成。提示要求整个世界完全保持在彩绘玻璃风格内,不出现自然纹理、现代物体或普通的真实世界表面。

另一个演示呈现了一名骑士以 140 km/h 的速度骑着一条巨大的黑龙穿越山地赛道的:first-person(第一人称)视角。骑士的面部、身体和轮廓均不可见;只有骑士的双手、龙的颈部和上背部、沿途景色、其他龙和骑手,以及一座设有投石机的城堡可见。提示要求逼真的振翅、风声、运动模糊和头部运动,音频包括振翅声、高空强风、远处的火山轰鸣和噼啪作响的火星。

还有一个示例描绘了 1995 年一部独立爱情电影中,两名二十多岁的韩国恋人清晨骑着摩托车驶过香港郊区的一座桥。男性驾驶员未戴头盔,焦急地环顾四周,而皮肤白皙的女性乘客戴着开放式头盔。场景以亲密、忧郁的 35mm 胶片风格呈现,带有黑边、浅景深、掠过的橙色街灯和深绿色的天空。

结合 Gemini 模型模拟复杂事件

Google DeepMind 表示,将 Gemini 与 Genie 4 结合,为世界模拟增加了针对复杂多步骤事件的推理能力,并允许在将 AI 系统应用于真实世界之前,先在模拟环境中进行测试。

在实时设置中,Gemini 3.8 Flash 充当循环中的引导智能体:在 Genie 4 实时生成世界的同时,Gemini 持续观察场景,将目标分解为一系列步骤,审查传入的帧以追踪进度并验证每个步骤是否成功。当世界发生变化或用户干预时,Gemini 会即时调整计划,从而支持可靠的因果性、程序化行为和多步骤推理。

示例包括一台 Universal Robots UR5 手持移液器向实验板分配液体,触发微小的电火花。另一则提示描述了穿越一间华丽而逼仄的古董沙龙的 first-person(第一人称)之旅。观者手持一根雕刻硬木和抛光黄铜制成的魔法棒,房间内摆满了数千只上釉瓷器动物,包括孔雀、狗和猫。所要求的场景包括逼真的皮肤和木材纹理、陶瓷釉面、釉面微裂纹、灰尘、胶片颗粒、光学镜头效果、吱呀作响的地板、呼吸声和隐约的瓷器声。

同一序列中还包括一位真正的魔术师站在一张高木桌旁,桌上有一个顶盖完全打开的长方形木箱,箱内站着一只真正的孔雀。提示要求自然光、逼真的演员和高端现代电视剧的美学风格,不要剧场、舞台、奇幻或 CGI 外观。另一则提示展示了一只冠鹤在清澈的黄昏天空下踏雪而行,呈纪录片风格。

Google DeepMind 还表示,公司一直在与 Gemini Robotics 合作,试验 Gemini 4 Argon 与 Genie 4 的结合。在一个示例中,Argon 将用户指令的任务分解为多个步骤供 Genie 渲染,并在模拟进行时以文本说明的形式逐步插入 Genie 4。由于 Genie 4 可以借助 Gemini 通过文本说明实时引导,这为在模拟向任务完成推进的过程中进行调整开辟了道路。这一能力成为使用 Gemini 4 Argon 和 Genie 4 在想象世界中模拟广泛场景的路径。

Gemini 4 Argon 与 Genie 4 协同模拟 Apptronik 的 Apollo 人形机器人下跳棋,将任务分解为实时步骤。

来自受信任测试者的反馈

Google DeepMind 将 Genie 4 描述为一个早期实验性模型。公司一直与创意产业、新闻、教育、游戏和工程领域的受信任测试者群体合作,以了解交互式世界模型如何支持真实世界的工作流程,以及它们仍需在哪些方面继续发展。

创意专业人士和技术专家正将 Genie 4 作为用于预可视化和构思的快速草稿模式进行测试。电影制作人可以进入实时模拟场景,实时运行多个"镜头",即时调整机位、灯光、对话和动作。在这一早期阶段,实时可引导的模拟充当了一个共享的草稿空间,可以在投入制作之前同时对镜头、声音和动作进行修改。

新闻摄影师正在探索如何让一张二维档案照片在几秒内变成对该环境的写实模拟。团队还在测试人口密集的动态世界,以体验历史空间或可视化短期环境事件(如山洪或野火)的演变。

游戏开发者和技术专家正在使用自然语言提示从最初想法快速生成可探索的原型,在编写任何引擎代码之前测试视觉风格、材质美学和交互机制。多个行业的企业合作伙伴正在评估 Genie 4 作为快速"从零到一"场景生成工具,并找出需要改进之处以更好地满足模拟需求。

迈向混合世界模型

Google DeepMind 表示,一个有前景的方向是混合世界模型,它将代码和语言模型的逻辑化、结构化推理与像素级模拟的丰富感官表征相结合。让 Genie 和 Gemini 模型更紧密地结合是朝这一方向迈出的早期一步。

Gemini 在幕后负责映射结构并规划叙事时间线,而 Genie 生成即时的物理现实——逐像素渲染世界的外观、声音和响应。Google DeepMind 表示,两者互补的优势结合,可以催生一类远比单独任何一种方法都更连贯、更可控、更贴近现实的新型世界模型。

安全与透明

Genie 4 将实时生成与照相级写实感相结合,并引入了一系列 Google DeepMind 表示希望以负责任方式推出和探索的新能力。该模型包含与公司其他模型安全政策一致的安全防护措施。

在推出预览版之前,Google DeepMind 通过严格的内部安全评估对 Genie 4 进行了评估,以防止生成有害或恶意内容。此外,公司有意先向受信任的测试者合作伙伴部署,在更广泛发布之前获取早期反馈。

为保持透明度,Genie 4 生成的所有视频和音频都将包含 SynthID——谷歌的不可感知数字水印技术,用于在视觉和音频模态中识别 AI 生成的内容。水印技术回应了照相级写实话生成的一个核心问题:AI 创建的视频和音频在传播之后是否仍能被识别为合成内容。

当前局限性

Genie 4 仍是一个不断演进的研究项目。

虽然它可以在短时间会话中维持连贯的环境,但视觉细节和物体恒存性仍可能随时间发生变化或漂移——尤其是在模拟运行较长时间、经过多次复杂提示编辑或在场景中大量导航之后。复杂的物理交互、实时音频准确性、可读文本渲染、空间精度和长期一致性仍是持续研究的活跃领域。这些开放的研究方向正是分阶段推出所要探索的内容,也为早期用户提供了判断交互式世界模型从演示走向可靠工具进展程度的具体清单。公司以预览版形式发布 Genie 4,以便与社区共同学习,并以可控方式推进交互式模拟的前沿。

Genie 4 的后续计划

Genie 4 已作为研究预览版向受信任的测试者发布,即将面向 Project Genie 中的 Google AI Ultra 订阅者以及使用 Gemini API 和 Google AI Studio 的早期访问合作伙伴开放。候补名单可通过 Project Genie 加入。

原始公告可在 Google DeepMind Blog 上查阅。

致谢

Google DeepMind 感谢以下核心贡献者:Hang Qi、Diego Rivas、Aleksander Hołyński、Inbar Mosseri、Jack Parker-Holder、Shlomi Fruchter、Tejas Kulkarni、James Assiene、Philip Ball、Jakob Bauer、Eddie Cao、Lucy Chai、Harris Chan、Kleopatra Chatziprimou、Hao Chen、Yoni Choukroun、Mark Collier、Enric Corona、Kurtis David、Ariel Ephrat、Maxime Gazeau、Ruiqi Gao、Chelsee Glover-Odom、Liangke Gui、Swaroop Guntupalli、Shan Han、Tingbo Hou、Jiri Hron、Hui Huang、Drew A. Hudson、Zhouyuan Huo、Linyi Jin、Christos Kaplanis、Dhrupad Karwa、Eunyoung Kim、Congtao Kuang、Eliot Laidlaw、José Lezama、Hao Li、Shuang Li、Yuchen Liu、Hanzi Mao、Mark Matthews、Matt McGill、Kay McKinney、Ricardo Monti、Mark Murphy、Joseph Ortiz、Roni Paiss、Frank Perbet、Ben Poole、Tal Reiss、Konstantinos Rematas、Guy Scully、Jeremy Shar、Shashank Shastry、Sri S、Omer Tov、Ruben Villegas、Andrey Voynov、Hongjie Wang、Luyu Wang、Kaustubh Sridhar、Mo Samsami、Stephen Spencer、Yufei Wang、Will Whitney、Rundi Wu、Joyce (Jingjing) Xie、Jesse Yin、Shiran Zada、Serena Zhang、Xiaofan Zhang、Zhengqi Li、Zhixing Zhang、Yuan Zhong、Shuo-yiin Chang、Dmitry Lagun、Ronny Huang、Yao Su、Ankush Gupta、Genzhi Ye、Haolin Jia、Weiqin Wang、Xi Xiong、Salah Zaiem 和 Carol Zheng。

公司还感谢跨职能合作伙伴:Dina Bashkirova、Emil Bergner、Greta Borisko、Irina Blok、Melissa Byun、Gabe Clapper、Viral Carpenter、Michael Y. Chang、Maximo Cudich-Sieburger、Chloe Doan、Alisa Fortin、Shivani Ghanta、Vikram Gopali、Ezra Gorman、Khyatti Gupta、Sam Hasinoff、Philipp Henzler、Hector Hinestroza、Ed Hirst、Tyler Holland、Kristian Holsheimer、Tiffany Hu、Kapil Joshi、Randeep Katari、Pavan Kumar、Vikhyat Kumeria、Sam Kvaalen、Matthew Levine、Yinxiao Li、Yuchi Liu、Miao Luo、Nick Matarese、Kangfu Mei、Signe Nørly、Moises Oliveira、Eric Paskie、Manika Puri、Susanna Ricco、Andrey Ryabtsev、Cai Schumann、Nicole Brichtova、Andy Sekyere、Grace Shih、Melissa Smith、Duncan Noble Smith、Kenda Stewart、Rod Strougo、Jenn Sturgeon、Amy Zeng、Gaby Pearl、Eleanor Tomlinson、Kenyon Watson、Inês Ayer、Luke Talbot、Han-Yun Tsao、Guillaume Vernade、Karen Wang、Changchang Wu、Ian Wilkinson、Weijuan Xi、Jennifer Yick、Yunhan Zhao、Eric Zhang、Jason Zhang、Annie Zhou、James Zhou、Chris Walker、Alan Yam、Alex Chen、Cliff Lungaretti、Dan Motzenbecker、Kaloyan Kolev、Matthew Carey、Nate Zucker、Sam Lawton、Shashwath Santosh 和 Suz Chambers。

Google DeepMind 同时感谢 Raia Hadsell、Aäron van den Oord、Josh Woodward、Steve Seitz、Carlos Hernandez、Elias Roman、Jung E. Kim、Abhishek Bapna、Eli Collins、Tulsee Doshi、Carolina Parada、Jie Tan、Koray Kavukcuoglu 和 Demis Hassabis 在整个研究过程中提供的指导与支持,也感谢提供反馈帮助指引研究方向的受信任测试者和早期访问用户。