Google DeepMind、世界シミュレーションモデル「Genie 4」を発表

Raia Hadsell、Diego Rivas、Hang Qi 著

Google DeepMindは、よりリアルなリアルタイムインタラクティブシミュレーションを実現するために設計された新たなワールドモデル「Genie 4」を発表した。ネイティブにマルチモーダルなこのシステムは、シミュレートされた世界とともに、音楽的なオーディオ、環境音、インタラクティブな対話を生成できる。

Genie 4はGeminiファミリーの能力を取り入れている。Gemini Omniがシミュレーションを現実世界の外観と挙動に基づかせ、他のGeminiモデルが一貫性と連続性を維持するのに必要な推論を提供する。ユーザーはイベントを開始でき、Genie 4はその後に何が起こるか——環境がどう応答しどう聞こえるか、そして人々がどう動き、反応し、話すか——をシミュレートする。

Google DeepMindは、世界を理解しシミュレートすることがAGI構築の重要な側面であると述べている。同社は、Genie 4がロボットやエージェントの訓練環境やインタラクティブ体験の開発を支援できるとしている。その意味で、ワールドモデルは言語モデルの対となる存在として位置づけられている——一方は環境が時空間でどう展開するかをモデル化し、もう一方はアイデアや指示がどう表現されるかをモデル化する——これは後述のGeminiとGenieの組み合わせにおいてDeepMindが明示的に目指している方向性である。

同社は、消費者および開発者への広範なリリース前にフィードバックを収集するため、信頼できるテスター向けにGenie 4の研究プレビューの展開を開始した。次の段階は、Project GenieのGoogle AI Ultra加入者と、Gemini APIおよびGoogle AI Studioを利用するアーリーアクセスパートナーから始まる。ウェイトリストはProject Genieから登録できる。この段階的な展開は、一般提供前に、長時間セッションの一貫性やリアルタイム音声の精度など、モデルの既知の弱点における進捗を外部の観察者が構造的に追跡する手段にもなっている。

Genie 4は、強化されたフォトリアリズム、滑らかな動き、ネイティブオーディオを提供するように設計されている。Google DeepMindによれば、デモで使用された付随するサウンドはすべてモデルが直接生成したものである。

Google DeepMindが強調する4つの能力

以下で説明するデモは、ユーザーが標準的なキーボード操作でナビゲーションとカメラを制御し、テキストプロンプトでシーンを誘導するリアルタイムのインタラクションを示している。

リアルタイムの世界シミュレーション

Genie 4では、天気の変更、カメラの移動、人物や物体の追加といった自然言語の指示でシミュレーションを修正できる。Geminiはプロンプトを周囲のシーンに適応させるとともに、ユーザー入力の間も環境を監視・誘導し、シミュレーションが一貫して続くようにする。この連続的で操縦可能な性質こそが、インタラクティブなワールドモデルを事前レンダリングされた動画と区別するものである。環境はユーザー入力の間も進化し応答し続ける。

あるデモでは、参照画像をシーンの正確な最初のフレームとして使用している。シーンには、浮遊する長方形のプラットフォーム、風化したコンクリートの縁、野草、シダ、ねじれた小さな木、輝く琥珀色の球体、緩い茶色のスーツを着てブラスサックスを演奏する中年男性が登場する。要求されるビジュアルスタイルは、16mmフィルムで撮影された極めて自然主義的で低コントラストなドキュメンタリーシーンで、繊細なグレイン、落ち着いた自然な色調、持ち上げられたシャドウ、柔らかなハイライト、拡散した曇天の光が特徴である。プラットフォームは霧の森に囲まれた静かな湖に浮かび、水面には霧が漂い、琥珀色の球体が湖に映り込む。

カメラが水面の上を独立して移動する間も、サックス奏者は視界に留まる。プロンプトは、リアルな呼吸、指の動き、わずかな体の揺れ、空間的な連続性、湖の環境音、遠くの風、柔らかな水の動き、リアルなサックスの音を求めており、シーン内に物理的に存在する楽器以外の背景音楽はない。

他の例には、高く生い茂る緑の草、紫・白・黄色の野の花、低い灌木、遠くの青緑色の丘に満ちた陽光あふれる丘の上の牧草地がある。光沢のあるガムピンクのサテンの生地が、S字カーブを描いて牧草地を貫き、風を受けて花の上で絹の川のようにたなびいている。

別のプロンプトは、雪に覆われた氷河、ギザギザの山々、極域の日光の下で青い氷山が広がる南極の空中描写を描いている。熱気球がさまざまな距離に現れ、その中にはクリーム色・赤・青の縞模様の大きな気球が含まれる。一人称視点は飛行中の気球の編み込んだ柳のバスケットの中からで、革で縁取られたバスケットの縁、黒いパッド入りの支柱、金属の索具、頭上のキャノピーの暗い底部越しに極域の景色を眺める。

物理と人間の動作

Google DeepMindによれば、Genie 4は世界に対する高度な物理的理解に基づいて構築されており、空気力学や衝突など現実世界の物理に関わるシナリオをシミュレートできる。同社は人間の扱いを大きな進歩と説明し、キャラクターが自然に動き、周囲に有機的に反応し、リアルタイムでインタラクティブに誘導できるとしている。物理的な妥当性はワールドモデルの中心的な評価基準である。シミュレーション内でのロボットやエージェントの訓練は、シミュレートされた動作がリアルな結果を生むことに依存しているからだ。

デモには、陽光の差し込む中庭で風化した石の台座に置かれた緑の縞模様のつややかなスイカ（空中の水滴がスローモーションで逆光に浮かぶ）、木から草へ落ちるカエデの種子、そして1980年代の混雑した日本の地方の駅がある。駅のシーンでは、濃紺の制服を着た鉄道駅員が、待ち、歩き、乗車し、荷物を運ぶ乗客たちを見守っている。長い深紅の普通列車が最も近い線路を占め、緑の山々、杉の森、蒸し暑い夏の靄が駅を取り囲む。プロンプトは、1980年代の日本の本物の雰囲気、35mmドキュメンタリー写真、自然光、繊細なフィルムグレイン、そして空っぽのプラットフォームやまばらな群衆ではなく密集した群衆を指定している。

ネイティブオーディオとインタラクティブな対話

Genie 4は、Google DeepMindのリアルタイムワールドモデルとして初めてオーディオをネイティブに生成するように設計された。その環境には、木々の間の風や浜辺の波のように、設定に固有のサウンドを含めることができる。映像とともに音をネイティブに生成することは、リアルタイムワールドモデルの決定的な特徴であり、生成映像を別途制作した音声と組み合わせる必要をなくす。同社はまた、キャラクターが会話し、ユーザー入力や世界のイベントにリアルタイムで反応できるインタラクティブな対話も強調した。

あるデモでは、カメラが巨大なクリスタルの窓の中を移動するかのように探索できる、完全に立体的なステンドグラスの風景の作成をGenie 4に求めている。川、草、花、木、山、雲、空、太陽はすべて、半透明の色ガラス、暗い鉛の輪郭、重なり合うパネルで構成されている。プロンプトは、世界が完全にステンドグラスのスタイルに留まり、自然な質感、現代的な物体、通常の現実世界の表面を含まないことを求めている。

別のデモは、騎士が巨大な黒いドラゴンに乗り、標高の山岳レースコースを時速140kmで疾走する一人称視点を描いている。騎手の顔、体、シルエットは見えず、見えるのは騎手の手、ドラゴンの首と背中の上部、風景、他のドラゴンと騎手、そして投石機を備えた城のみである。プロンプトはリアルな羽ばたき、風、モーションブラー、頭の動きを求め、オーディオは羽ばたき音、高高度の風、遠くの火山の鳴動、パチパチと燃える火の粉で構成される。

さらに別の例は、1995年のインディーズ恋愛ドラマとして、夜明けの香港近郊の橋をバイクで渡る20代の韓国人カップルを描いている。男性運転手はヘルメットをかぶっておらず、女性同乗者はオープンフェイスのヘルメットを着用している。シーンは、黒帯、浅いフォーカス、オレンジ色の街灯、暗い緑の空を伴った親密でメランコリックな35mmフィルムとして構成されている。

Geminiモデルによる複雑なイベントのシミュレーション

Google DeepMindは、GeminiとGenie 4を組み合わせることで、複雑な多段階イベントに対する推論が加わり、AIシステムを現実世界に展開する前にシミュレートされた環境でテストできるようになると述べた。

このリアルタイム構成では、Gemini 3.8 Flashがガイディングエージェントとして機能する。Genie 4がリアルタイムで世界を生成するのに合わせ、Geminiはシーンを観察し、目標を一連のステップに分解し、入力されるフレームを確認して進捗を追跡し各ステップの成功を検証する。世界が変化したりユーザーが介入したりすると、Geminiはその場で計画を適応させ、信頼できる因果性、手続き的な挙動、多段階推論を支える。

例には、Universal Robots UR5がピペットを持ち実験プレートに液体を分注し小さな電気火花を発生させるシーンがある。別のプロンプトは、豪華で圧迫感のあるアンティークサロンを一人称で進む体験を描写している。視覚者は木彫りのハードウッドと磨かれた真鍮のワンドを持ち、部屋にはクジャク、犬、猫を含む何千もの釉薬を施した磁器の動物が置かれている。要求されるシーンには、リアルな皮膚や木の質感、陶器の釉薬、釉薬の微細なひび割れ、埃、フィルムグレイン、光学レンズ効果、きしむ床板、呼吸、かすかな磁器の音が含まれる。

同じシーケンスには、高い木のテーブルの横に立つ本物の魔術師と、上部が完全に開いた長方形の木箱の中に静かに立つ本物のクジャクが含まれる。自然光、リアルな俳優、権威ある現代のテレビドラマの美学が求められ、劇場、舞台、ファンタジー、CGIの外観はない。別のプロンプトは、夕暮れの晴れた空の下を雪の上を歩くカンムルヅルをドキュメンタリースタイルで描いている。

Google DeepMindはまた、Gemini Roboticsとの連携でGemini 4 ArgonとGenie 4の実験を進めていると述べた。ある例では、Argonがユーザーの指示したタスクをGenieがレンダリングするためのステップに分解し、シミュレーションの進行に合わせてそれらのステップをテキストキャプションとしてGenie 4に送る。Geminiを使ってGenie 4をテキストキャプションでリアルタイムに誘導できるため、タスク完了に向けてシミュレーションを進行に合わせて適応させる道が開かれた。この能力は、Gemini 4 ArgonとGenie 4を用いて想像上の世界で幅広いシナリオをシミュレートする道となる。

Gemini 4 ArgonとGenie 4は協働し、Apptronikのヒューマノイド「Apollo」がチェッカーをプレイする様子をシミュレートし、タスクをリアルタイムのステップに分解している。

信頼できるテスターからのフィードバック

Google DeepMindは、Genie 4を初期の実験的モデルであると説明している。同社は、インタラクティブなワールドモデルが現実世界のワークフローをどこまで支援でき、どこでさらなる発展が必要かを理解するため、クリエイティブ業界、ジャーナリズム、教育、ゲーム、エンジニアリングの信頼できるテスター群と協働してきた。

クリエイティブ専門家や技術者は、プリビジュアライゼーションとアイデア出しのための迅速な「ドラフトモード」としてGenie 4をテストしている。映画制作者はライブシミュレーションに入り、カメラアングル、照明、台詞、アクションを変更しながら複数のテイクをリアルタイムで実行できる。この初期段階では、ライブで操縦可能なシミュレーションが、制作を確定する前にカメラ、サウンド、アクションを一緒に修正できる共有のドラフト空間として機能する。

フォトジャーナリストは、1枚の2次元のアーカイブ写真がその環境の根拠あるシミュレーションにどう変わるかを探っている。チームはまた、歴史的な空間の体験や、洪水や山火事といった短期的な環境イベントの視覚化のために、人の密集した動的な世界をテストしている。

ゲーム開発者やクリエイティブ技術者は、自然言語プロンプトを使って最初のアイデアから探索可能なプロトタイプへと進み、エンジンのコードを1行書く前にビジュアルスタイル、素材の美学、インタラクティブなメカニクスをテストしている。複数業界のエンタープライズパートナーは、迅速なゼロからイチへのシナリオ生成ツールとしてGenie 4を評価し、シミュレーション能力のギャップを特定している。

ハイブリッドワールドモデルに向けて

Google DeepMindは、コードと言語モデルの構造化された推論と、ピクセルレベルのシミュレーションの感覚的な表現を組み合わせるハイブリッドワールドモデルが有望な方向性であると述べた。GenieとGeminiをより密接に統合することはその方向への初期の一歩である。

Geminiは構造をマッピングし物語のタイムラインを計画し、Genieは世界がどう見え、どう聞こえ、どう応答するかをピクセル単位でレンダリングする即時の物理的現実を生成する。Google DeepMindは、この組み合わせにより、どちらか単独よりもはるかに一貫性があり、制御可能で、根拠のある新しいクラスのワールドモデルが実現しうると述べている。

安全性と透明性

Genie 4はリアルタイム生成とフォトリアリズムを組み合わせており、Google DeepMindが責任を持って展開・探索したいと述べる新たな能力を導入している。モデルには、同社の他のモデル向けポリシーと整合する厳格な安全ガードレールが含まれる。

プレビューの前に、Google DeepMindは有害または悪意あるコンテンツの生成を防ぐための内部の厳格な安全評価を実施した。また、より広いリリース前に早期のフィードバックを得るため、当初は信頼できるテスターパートナーに提供を限定した。

Genie 4が生成するすべての映像と音声には、視覚および音声の両モダリティにおいてAI生成コンテンツの識別を助けるGoogleの知覚できないデジタルウォーターマーク技術「SynthID」が含まれる。ウォーターマーキングは、フォトリアルな生成における核心的な問い——AIが作成した映像や音声が流通後も合成物と識別できるか——に対応するものである。

現在の限界

Genie 4は依然として進化中の研究プロジェクトである。短いセッションでは一貫した環境を維持できるが、視覚的な細部や物体の永続性は、特に長時間のシミュレーション、複数回の複雑なプロンプト編集の後、またはシーン内を広範にナビゲートする際に、時間とともに変化または drift する可能性がある。

Google DeepMindは、複雑な物理的インタラクション、リアルタイム音声の精度、判読可能なテキストのレンダリング、空間的な正確さ、長期的な一貫性が依然として活発な研究領域であると述べている。これらの未解決の研究領域こそが段階的な展開で検証される対象であり、初期ユーザーに、インタラクティブなワールドモデルがデモから信頼できるツールへどこまで進んだかを判断する具体的なチェックリストを与える。同社は、コミュニティとともに学び、インタラクティブシミュレーションの最前線を管理された形で前進させるため、Genie 4をプレビューとして公開している。

Genie 4の次のステップ

Genie 4は信頼できるテスター向けの研究プレビューとしてリリースされており、Project GenieのGoogle AI Ultra加入者、およびGemini APIとGoogle AI Studioのアーリーアクセスパートナーにまもなく提供される。ウェイトリストはProject Genieから利用できる。

元の発表はGoogle DeepMind Blogで閲覧できる。

謝辞

Google DeepMindは、Hang Qi、Diego Rivas、Aleksander Hołyński、Inbar Mosseri、Jack Parker-Holder、Shlomi Fruchter、Tejas Kulkarni、James Assiene、Philip Ball、Jakob Bauer、Eddie Cao、Lucy Chai、Harris Chan、Kleopatra Chatziprimou、Hao Chen、Yoni Choukroun、Mark Collier、Enric Corona、Kurtis David、Ariel Ephrat、Maxime Gazeau、Ruiqi Gao、Chelsee Glover-Odom、Liangke Gui、Swaroop Guntupalli、Shan Han、Tingbo Hou、Jiri Hron、Hui Huang、Drew A. Hudson、Zhouyuan Huo、Linyi Jin、Christos Kaplanis、Dhrupad Karwa、Eunyoung Kim、Congtao Kuang、Eliot Laidlaw、José Lezama、Hao Li、Shuang Li、Yuchen Liu、Hanzi Mao、Mark Matthews、Matt McGill、Kay McKinney、Ricardo Monti、Mark Murphy、Joseph Ortiz、Roni Paiss、Frank Perbet、Ben Poole、Tal Reiss、Konstantinos Rematas、Guy Scully、Jeremy Shar、Shashank Shastry、Sri S、Omer Tov、Ruben Villegas、Andrey Voynov、Hongjie Wang、Luyu Wang、Kaustubh Sridhar、Mo Samsami、Stephen Spencer、Yufei Wang、Will Whitney、Rundi Wu、Joyce (Jingjing) Xie、Jesse Yin、Shiran Zada、Serena Zhang、Xiaofan Zhang、Zhengqi Li、Zhixing Zhang、Yuan Zhong、Shuo-yiin Chang、Dmitry Lagun、Ronny Huang、Yao Su、Ankush Gupta、Genzhi Ye、Haolin Jia、Weiqin Wang、Xi Xiong、Salah Zaiem、Carol Zhengらの中心的な貢献を称えた。

また、同社は、Dina Bashkirova、Emil Bergner、Greta Borisko、Irina Blok、Melissa Byun、Gabe Clapper、Viral Carpenter、Michael Y. Chang、Maximo Cudich-Sieburger、Chloe Doan、Alisa Fortin、Shivani Ghanta、Vikram Gopali、Ezra Gorman、Khyatti Gupta、Sam Hasinoff、Philipp Henzler、Hector Hinestroza、Ed Hirst、Tyler Holland、Kristian Holsheimer、Tiffany Hu、Kapil Joshi、Randeep Katari、Pavan Kumar、Vikhyat Kumeria、Sam Kvaalen、Matthew Levine、Yinxiao Li、Yuchi Liu、Miao Luo、Nick Matarese、Kangfu Mei、Signe Nørly、Moises Oliveira、Eric Paskie、Manika Puri、Susanna Ricco、Andrey Ryabtsev、Cai Schumann、Nicole Brichtova、Andy Sekyere、Grace Shih、Melissa Smith、Duncan Noble Smith、Kenda Stewart、Rod Strougo、Jenn Sturgeon、Amy Zeng、Gaby Pearl、Eleanor Tomlinson、Kenyon Watson、Inês Ayer、Luke Talbot、Han-Yun Tsao、Guillaume Vernade、Karen Wang、Changchang Wu、Ian Wilkinson、Weijuan Xi、Jennifer Yick、Yunhan Zhao、Eric Zhang、Jason Zhang、Annie Zhou、James Zhou、Chris Walker、Alan Yam、Alex Chen、Cliff Lungaretti、Dan Motzenbecker、Kaloyan Kolev、Matthew Carey、Nate Zucker、Sam Lawton、Shashwath Santosh、Suz Chambersをはじめとするクロスファンクショナルパートナーに感謝を述べた。

さらにGoogle DeepMindは、研究プロセスを通じて示唆に富む指導と支援を提供したRaia Hadsell、Aäron van den Oord、Josh Woodward、Steve Seitz、Carlos Hernandez、Elias Roman、Jung E. Kim、Abhishek Bapna、Eli Collins、Tulsee Doshi、Carolina Parada、Jie Tan、Koray Kavukcuoglu、Demis Hassabis、そして研究の前進を導くフィードバックを提供した信頼できるテスターとアーリーアクセスユーザーに感謝を述べた。