Google DeepMind 發表 Genie 4 世界模擬模型

作者：Raia Hadsell、Diego Rivas 與 Hang Qi

Google DeepMind 宣布推出 Genie 4，這是一個新的世界模型，旨在提供更擬真的即時互動模擬。這個原生多模態系統能夠在生成模擬世界的同時，產生類似音樂的音訊、環境音與互動對話。

Genie 4 整合了 Gemini 家族的能力。Gemini Omni 將模擬錨定於真實世界的外觀與行為，而其他 Gemini 模型則提供維持一致性與連續性所需的推理能力。使用者可以啟動一個事件，Genie 4 便會模擬後續發展，包括環境如何回應、聲音為何，以及人們如何移動、反應與說話。

Google DeepMind 表示，理解與模擬世界是打造 AGI 的重要環節。該公司指出，Genie 4 可支援為機器人與代理建立訓練環境，以及開發互動體驗。就此而言，世界模型被定位為語言模型的對應物——一者模擬環境如何在空間與時間中展開，另一者表達想法與指令——DeepMind 正透過下文詳述的 Gemini–Genie 組合，明確朝此配對方向發展。

該公司已開始以研究預覽形式向受信任測試者推出 Genie 4，並在向消費者與開發者更廣泛發布前蒐集回饋。下一階段將從 Project Genie 中的 Google AI Ultra 訂閱者，以及使用 Gemini API 與 Google AI Studio 的早期存取合作夥伴開始。候補名單可透過 Project Genie 加入。這種分階段推出也讓外部觀察者能夠有系統地追蹤模型已知弱點（例如長時間連續使用的一致性與即時音訊準確度）的改善進度。

Genie 4 旨在提供強化的擬真畫面、流暢的動作與原生音訊。Google DeepMind 表示，其示範中的伴隨音效皆由模型直接生成。

Google DeepMind 強調的四項能力

以下示範展示即時互動過程，使用者以標準鍵盤輸入進行導覽與鏡頭控制，並以文字提示引導場景發展。

即時世界模擬

Genie 4 允許使用者以自然語言指令修改模擬，例如改變天氣、移動鏡頭或加入人物或物件。Gemini 會將提示調整至符合周圍場景，並在使用者輸入之間持續監控與引導環境，使模擬保持連貫。這種持續且可引導的特性，正是互動式世界模型有別於預先渲染影片之處：即使在兩次使用者輸入之間，環境仍持續演進與回應。

其中一項示範以參考圖像作為場景的精確第一幀，畫面包含漂浮的矩形平臺、風化的混凝土邊緣、野草、蕨類、一棵扭曲的小樹、一顆發光的琥珀色球體，以及一名穿著寬鬆棕色西裝吹奏銅管薩克斯風的中年男子。要求的視覺風格是以 16mm 底片拍攝、高度自然寫實的低對比紀錄片場景，帶有細微顆粒感、柔和的自然色彩、明亮化的陰影、柔和的亮部與漫射的陰天光線。平臺漂浮在被霧氣森林環繞的寧靜湖面上，霧氣在水面飄移，琥珀色球體倒映於湖中。

當鏡頭獨立於水面移動時，薩克斯風演奏者始終在畫面中。提示要求真實的呼吸、手指動作、輕微的身體搖擺、空間連續性、湖泊環境音、遠處風聲、輕柔的水面波動與真實的薩克斯風音訊，除場景中實際存在的樂器外，不含背景音樂。

其他範例包括灑滿陽光的山頂草原，充滿高大的綠草、紫色、白色與黃色的野花、低矮灌木與遠處藍綠色的丘陵。一道連續不斷的亮面泡泡糖粉色緞帶以流暢的 S 形曲線蜿蜒穿過草原，如同一條絲綢之河在花朵上方翻騰。

另一則提示描繪南極洲的空拍景觀，雪覆蓋的冰川、嶙峋的山峰與藍色冰山沐浴在極地陽光下。熱氣球出現在遠近不同的位置，其中包括一個大型奶油色、紅色與藍色條紋氣球。第一人稱視角來自熱氣球的編織藤籃內，越過飾皮邊緣、黑色襯墊支撐桿、金屬索具鏈與上方球囊的深色底部向外眺望。

物理與人類動作

Google DeepMind 表示，Genie 4 建立於對世界先進的物理理解之上，可模擬涉及空氣動力學、碰撞等真實世界物理的情境。該公司將其對人物的處理描述為重大躍進，指出角色能自然移動、有機地回應環境，並可即時互動引導。物理合理性是世界模型的核心基準，因為在模擬中訓練機器人與代理，取決於模擬動作能否產生符合現實的結果。

示範包括灑滿陽光的庭院中，一座風化石臺上擺放著有光澤的綠條紋西瓜，空中的水滴在慢動作中呈現逆光效果；一枚楓樹種子從樹上落入草中；以及 1980 年代擁擠的日本鄉間火車站。在車站場景中，一名身穿深藍制服的鐵路站務員注視著等待、走動、上車與攜帶行李的乘客。一列深紅色的長編組區間列車停靠在最近的軌道，翠綠的山巒、杉木林與濕熱的夏日霧氣環繞著車站。提示指定了道地的 1980 年代日本氛圍、35mm 紀錄片攝影、自然光線、細微底片顆粒感，以及稠密的人群，而非空曠或稀疏的月臺。

原生音訊與互動對話

Genie 4 是 Google DeepMind 首個設計為原生生成音訊的即時世界模型。其環境可包含符合場景的聲音，例如林間風聲與海灘浪濤聲。音訊與畫面同步原生生成，是即時世界模型的關鍵特徵，免除了將生成影片與另行製作的音訊配對的需求。該公司也強調互動對話功能，角色能即時與使用者輸入或世界中的事件進行交談與回應。

其中一項示範要求 Genie 4 創造一個完全立體的彩繪玻璃景觀，可像鏡頭穿越巨大的水晶窗般探索。河流、草地、花朵、樹木、山巒、雲朵、天空與太陽皆由半透明彩色玻璃、深色鉛條輪廓與分層玻璃面板構成。提示要求整個世界必須完全保持在彩繪玻璃風格內，不得出現自然材質、現代物件或一般真實世界的表面。

另一項示範呈現一名騎士騎乘巨大黑色飛龍、以時速 140 公里穿越山地競速賽道的第一人稱視角。騎士的臉部、身體與剪影皆不可見；僅能看到騎士的雙手、龍的頸部與上背部、景觀、其他飛龍與騎士，以及牆上設有投石機的巨大城堡。提示要求逼真的拍翅、風聲、動態模糊與頭部動作，音訊則包含翅膀拍打聲、高空強風、遠處火山隆隆聲與爆裂的火燼聲。

另一個範例描繪一對二十多歲的韓國戀人，在 1995 年的獨立愛情電影中，黎明時分騎乘機車穿越香港郊區的一座橋。男性駕駛未戴安全帽，女性乘客則戴著半罩式安全帽。場景以親密而憂鬱的 35mm 底片美學呈現，帶有黑邊、淺景深、橙色路燈與暗綠色的天空。

與 Gemini 模型協作模擬複雜事件

Google DeepMind 表示，將 Gemini 與 Genie 4 結合，為世界模擬增加了處理複雜多步驟事件的推理能力，並可在將 AI 系統應用於現實世界之前，先在模擬環境中測試。

在此即時架構中，Gemini 3.8 Flash 擔任引導代理。當 Genie 4 即時生成世界時，Gemini 持續觀察場景、將目標分解為步驟序列、檢視接收到的畫面，並確認每個步驟是否成功。當世界變化或使用者介入時，Gemini 能當下調整計畫，支援因果關係、程序化行為與多步驟推理。

範例包括一台 Universal Robots UR5 手持移液管將液體分配到實驗室培養盤中，觸發微小的電火花。另一則提示描述穿越一間華麗而幽閉的古典沙龍的第一人稱旅程。觀看者手持一根雕刻硬木與拋光黃銅製成的魔法杖，房間內陳列著數千隻上釉瓷器動物，包括孔雀、狗與貓。要求的場景包含真實的皮膚與木質紋理、陶瓷釉面、釉彩細裂紋、灰塵、底片顆粒感、光學鏡頭效果、吱嘎作響的木地板、呼吸聲與細微的瓷器聲響。

同一序列還包括一位真實的魔術師站在高大的木桌旁，桌上一個開口的長方形木箱內站著一隻孔雀。該提示要求自然光線、真實的演員與高質感的現代電視劇美學，不含劇場、舞臺、奇幻或 CGI 外觀。另一則提示展示一隻冠鶴在清澈的黃昏天空下穿越雪地，呈紀錄片風格。

Google DeepMind 也表示，一直在與 Gemini Robotics 合作，實驗 Gemini 4 Argon 與 Genie 4。在其中一個範例中，Argon 將使用者下達的任務分解為步驟供 Genie 渲染，並在模擬進行時以文字字幕形式呈現這些步驟。該公司利用 Gemini 4 Argon 與 Genie 4，透過即時任務分解，模擬 Apptronik 的 Apollo 人形機器人下西洋跳棋。

來自受信任測試者的回饋

Google DeepMind 將 Genie 4 描述為早期實驗性模型。該公司與創意產業、新聞、教育、遊戲與工程領域的受信任測試者合作，以了解互動式世界模型如何支援實際工作流程，以及它們仍需發展之處。

創意專業人士與技術人員正將 Genie 4 作為預覽與發想的快速草稿模式進行測試。電影工作者可進入即時模擬中執行多次「拍攝」，同時調整鏡頭角度、燈光、對白與動作。在這個早期階段，可即時引導的模擬充當共用的草稿空間，讓鏡頭、聲音與動作能在進入正式製作前共同修訂。

新聞攝影記者正在探索如何將單張二維的檔案照片，在數秒內轉化為該環境的擬真模擬。團隊也在測試以充滿人群的動態世界來體驗歷史空間，或視覺化呈現閃洪與野火等短期環境事件。

遊戲開發者與創意技術人員正利用自然語言提示，從初步構想邁向可探索的原型，在撰寫任何引擎程式碼之前測試視覺風格、材質美學與互動機制。多個產業的企業合作夥伴正在評估 Genie 4 作為快速「零到一」情境生成工具，並找出其模擬能力的缺口。

邁向混合式世界模型

Google DeepMind 表示，一個有前景的方向是混合式世界模型，結合程式與語言模型的結構化推理，以及像素級模擬的豐富感官呈現。讓 Genie 與 Gemini 更緊密結合是朝此方向的早期一步。

Gemini 可在幕後規劃結構與敘事時間軸，而 Genie 則生成即時的物理現實，逐像素呈現世界的外觀、聲音與回應方式。Google DeepMind 表示，這種結合可產出比單一方法更連貫、更可控、更貼近現實的新型世界模型。

安全性與透明度

Genie 4 結合即時生成與擬真畫面，並引入 Google DeepMind 表示將以負責任方式推出的新能力。該模型包含與該公司其他模型政策一致的安全防護機制。

在預覽推出前，Google DeepMind 進行了內部嚴格的安全評估，以防止生成有害或惡意內容。在更廣泛發布之前，該公司刻意先將存取權限限縮於受信任測試者夥伴，以蒐集早期回饋。

Genie 4 生成的所有影片與音訊都將包含 SynthID，這是 Google 的不可感知數位浮水印技術，用於識別視覺與音訊格式中的 AI 生成內容。浮水印技術回應了擬真生成的一個核心問題：AI 創作的影片與音訊在流通之後，是否仍能被識別為合成內容。

目前的限制

Genie 4 仍是持續演進的研究項目。它能在短時間的作業階段中維持連貫的環境，但視覺細節與物體恆存性可能隨時間偏移或漂移，特別是在模擬運行較久、多次複雜提示編輯之後，或使用者在場景中大量導覽時。

Google DeepMind 表示，複雜的物理互動、即時音訊準確度、清晰文字渲染、空間準確度與長期一致性仍是持續研究的領域。這些開放的研究課題正是分階段推出所要檢驗的重點，也為早期使用者提供了具體的檢核清單，用以判斷互動式世界模型距離可靠的工具還有多遠。該公司以預覽形式釋出 Genie 4，以便與社群共同學習，同時以受控方式推進互動模擬的發展。

Genie 4 的下一步

Genie 4 已以研究預覽形式向受信任測試者釋出，即將開放給 Project Genie 中的 Google AI Ultra 訂閱者，以及使用 Gemini API 與 Google AI Studio 的早期存取合作夥伴。候補名單可透過 Project Genie 加入。

原始公告發布於 Google DeepMind 部落格。

致謝

Google DeepMind 感謝 Hang Qi、Diego Rivas、Aleksander Hołyński、Inbar Mosseri、Jack Parker-Holder、Shlomi Fruchter、Tejas Kulkarni、James Assiene、Philip Ball、Jakob Bauer、Eddie Cao、Lucy Chai、Harris Chan、Kleopatra Chatziprimou、Hao Chen、Yoni Choukroun、Mark Collier、Enric Corona、Kurtis David、Ariel Ephrat、Maxime Gazeau、Ruiqi Gao、Chelsee Glover-Odom、Liangke Gui、Swaroop Guntupalli、Shan Han、Tingbo Hou、Jiri Hron、Hui Huang、Drew A. Hudson、Zhouyuan Huo、Linyi Jin、Christos Kaplanis、Dhrupad Karwa、Eunyoung Kim、Congtao Kuang、Eliot Laidlaw、José Lezama、Hao Li、Shuang Li、Yuchen Liu、Hanzi Mao、Mark Matthews、Matt McGill、Kay McKinney、Ricardo Monti、Mark Murphy、Joseph Ortiz、Roni Paiss、Frank Perbet、Ben Poole、Tal Reiss、Konstantinos Rematas、Guy Scully、Jeremy Shar、Shashank Shastry、Sri S、Omer Tov、Ruben Villegas、Andrey Voynov、Hongjie Wang、Luyu Wang、Kaustubh Sridhar、Mo Samsami、Stephen Spencer、Yufei Wang、Will Whitney、Rundi Wu、Joyce (Jingjing) Xie、Jesse Yin、Shiran Zada、Serena Zhang、Xiaofan Zhang、Zhengqi Li、Zhixing Zhang、Yuan Zhong、Shuo-yiin Chang、Dmitry Lagun、Ronny Huang、Yao Su、Ankush Gupta、Genzhi Ye、Haolin Jia、Weiqin Wang、Xi Xiong、Salah Zaiem 與 Carol Zheng 的核心貢獻。

該公司也感謝跨職能合作夥伴 Dina Bashkirova、Emil Bergner、Greta Borisko、Irina Blok、Melissa Byun、Gabe Clapper、Viral Carpenter、Michael Y. Chang、Maximo Cudich-Sieburger、Chloe Doan、Alisa Fortin、Shivani Ghanta、Vikram Gopali、Ezra Gorman、Khyatti Gupta、Sam Hasinoff、Philipp Henzler、Hector Hinestroza、Ed Hirst、Tyler Holland、Kristian Holsheimer、Tiffany Hu、Kapil Joshi、Randeep Katari、Pavan Kumar、Vikhyat Kumeria、Sam Kvaalen、Matthew Levine、Yinxiao Li、Yuchi Liu、Miao Luo、Nick Matarese、Kangfu Mei、Signe Nørly、Moises Oliveira、Eric Paskie、Manika Puri、Susanna Ricco、Andrey Ryabtsev、Cai Schumann、Nicole Brichtova、Andy Sekyere、Grace Shih、Melissa Smith、Duncan Noble Smith、Kenda Stewart、Rod Strougo、Jenn Sturgeon、Amy Zeng、Gaby Pearl、Eleanor Tomlinson、Kenyon Watson、Inês Ayer、Luke Talbot、Han-Yun Tsao、Guillaume Vernade、Karen Wang、Changchang Wu、Ian Wilkinson、Weijuan Xi、Jennifer Yick、Yunhan Zhao、Eric Zhang、Jason Zhang、Annie Zhou、James Zhou、Chris Walker、Alan Yam、Alex Chen、Cliff Lungaretti、Dan Motzenbecker、Kaloyan Kolev、Matthew Carey、Nate Zucker、Sam Lawton、Shashwath Santosh 與 Suz Chambers。

Google DeepMind 亦感謝 Raia Hadsell、Aäron van den Oord、Josh Woodward、Steve Seitz、Carlos Hernandez、Elias Roman、Jung E. Kim、Abhishek Bapna、Eli Collins、Tulsee Doshi、Carolina Parada、Jie Tan、Koray Kavukcuoglu 與 Demis Hassabis 在研究過程中的指導與支持，並感謝提供回饋的受信任測試者與早期存取使用者。