Google DeepMindがGemini Robotics ER 2を発表——リアルタイム空間推論と複数ロボット協調を実現

Google DeepMindは、ロボットの高度な頭脳として機能するよう設計された、同社で最も高性能な「身体化推論」モデル「Gemini Robotics ER 2」を発表しました。このモデルは、リアルタイムの空間推論、マルチステップのタスク計画、および異なるロボット間の協調を可能にし、前身であるGemini Robotics ER 1.6からの大幅な進化を示しています。今回のリリースは、NVIDIAのProject GR00T、Figure AI、Physical Intelligence、TeslaのOptimusプログラムなど、多様なタスクに対応できる物理マシンを制御するAIシステムの構築を競うプレーヤーが集う、新興の汎用ロボット工学基盤モデル市場における競争を激化させるものです。

Gemini Robotics ER 2は現在、Gemini API、Google AI Studioを通じて開発者に一般公開されており、Gemini Enterprise Agent Platformではプライベートプレビューとして提供されています。開発者はこれを用いて、人間と対話し、物理世界を理解し、マルチステップのタスクを計画した上で、モーター実行を下位レベルのVision-Language-Action（VLA）モデルに委譲する物理AIエージェントを構築できます。この階層型アーキテクチャ——推論モデルが高レベルの意思決定を統括し、物理制御を専門の実行モデルに委任する設計——は、知覚からモーター制御までを1つのシステムで処理しようとする単一のエンドツーエンドモデルに代わるアプローチとして、複数のロボットAI研究で共有される設計思想を反映しています。

このモデルは、Google Searchや任意のユーザー定義関数などをネイティブに呼び出すことができます。そのアーキテクチャにより、ロボットは現在のアクションを実行しながら次のステップについて「考える」ことができ、より流暢な動作を実現します。

物理エージェント能力の向上

物理世界のほとんどのタスクは複数のステップを必要とします。Gemini Robotics ER 2は、ロボットのためのステップをオーケストレーションし、自己修正を可能にし、新しい状況への一般化を行う物理エージェントとして機能します。開発者は、VLAモデルやナビゲーションAPIなどの下位レベルの制御インターフェースをツールとして宣言し、マルチモーダルの動画、音声、テキストを直接モデルにストリーミングできます。

Googleによると、Gemini Robotics ER 2は、実際のVLA、シミュレーションVLA、人間による遠隔操作の3つの制御モードすべてにおいて、ツールオーケストレーションでER 1.6を一貫して上回っています。

ロボット工学における高レベルの推論は実行速度に大きく依存します。Gemini Robotics ER 2はGemini Live APIに統合され、レイテンシに敏感なタスクに最適化された双方向ストリーミングエンドポイントを使用します。その結果、モデルがアクションモデルやロボットAPIにコマンドを送り、従来のシステムに特有の「立ち止まって考える」という中断なしにマルチステップタスクを完了する、流暢なオーケストレーションが実現します。サブ秒級の応答時間は長年、安全な閉ループのロボット制御の前提条件とされてきました。大規模言語モデルベースのシステムでこれを実現することは、これまで実世界での展開を制限してきた、認知的計画と物理的反応の間のギャップを縮めるものです。

これらの能力を実証するため、GoogleはBoston DynamicsのSpotを使用したデモを構築しました。Gemini Robotics ER 2は、ナビゲーションやマニピュレーター操作などのSpot APIをオーケストレーションし、自然言語コマンドでオブジェクトを取得するインタラクティブなロボットを実現します。コードはGitHubで他の例とともに公開されています。

タスク完了のための時間的知能

タスクが完全に完了した時点を判断することは、ロボット工学における最も根強い課題の一つです。Gemini Robotics ER 2は、動画理解と進捗追跡において画期的な改善をもたらし、電球の締め付けやゴミ袋の結びなどの複雑なタスクが、次のステップに進む前に仕様を満たしているかをロボットが検証できるようにします。

継続的進捗分類

進捗分類とは、ロボットがリアルタイムでタスクの完了度を追跡する能力を指します。Googleの評価では、動画フィードの各フレームが5つの進捗レベル（0〜20%、20〜40%、40〜60%、60〜80%、80〜100%）に分類されます。タスクの進捗を定量化することで、モデルはロボットに状況認識を提供し、その場でアクションを調整したり、ワークフロー全体を再起動することなく失敗したステップを再試行したりできます。

Gemini Robotics ER 2は進捗分類タスクで57.4%の精度を達成し、前世代のモデルや競合するフロンティアモデルを上回りました。

高精度モーメント検出

モーメント検出とは、重要なイベントが発生する正確な動画フレームをモデルが特定する能力を測定するものです。例えば、コーヒーをカップに注ぐのをいつ止めるかなどです。モーメント検出タスクにおいて、Gemini Robotics ER 2は91.3%の精度と0.96秒の平均絶対距離を達成しました。Googleによると、この性能ははるかに大きなモデルカテゴリと同等レベルでありながら、計算コストのわずかな割合で、4倍の実行速度で精度を実現します。これは実世界で物理ロボットを安全に操作するために必要とされるサブ秒級のレイテンシです。

複数ロボット協調

あらゆるタスクに適した単一のロボットは存在しません。車輪型ローバーは屋内で優れていますが、ヒューマノイドロボットは不整地でより優れた性能を発揮する場合があります。Gemini Robotics ER 2は複数ロボット協調を導入し、多様なマシンが共有の意味的理解を通じて通信し、複雑なタスクの引き継ぎと完了を行えるようにします。Googleは、ApptronikのApollo 2とFranka F3 Duoが協調して作業する様子でこの能力を実証しました。これにより、GoogleはAmazonと並ぶ位置づけとなります。Amazonはフルフィルメントセンターに異種ロボットフリートを展開していますが、それらのシステムは異なるメーカーのロボット間のリアルタイムセマンティック通信ではなく、中央集権的な倉庫管理調整に依存しています。

空間知能の向上

Gemini Robotics ER 2は、3つのベンチマークにおいてコアとなる空間推論能力を向上させています。

• 成功・失敗検出: 静止画スナップショットではなく生の動画フィードで動作するようになり、こぼれ、滑り、位置ずしなどの実行中の失敗を検出できます。
• 汎用計器読み取り: 円形ダイヤルやサイトグラスを超えて、デジタルディスプレイ、リニアスケール、定規、液体温度計まで対象を拡大しました。Googleは10種類の異なる計器タイプでこの能力をテストしました。
• 強化された空間VQA: Geminiのマルチモーダル理解の進歩により、Visual Question Answeringを改善しました。

このモデルは、成功検出（画像・動画）、Question Answering（ERQA）、汎用計器読み取りを含むすべてのコア能力で一貫して最高の精度を達成しています。

安全性の進歩

Googleは、Gemini Robotics ER 2をこれまでで最も安全なロボット工学モデルと位置づけています。Safety Instruction FollowingおよびHuman Proximityベンチマークにおいて大幅な改善を達成しており、これらは推論タスク中にモデルが物理的制約にどの程度従うか、および近くの人間を検出するための空間認識能力を評価するものです。これらのベンチマークは、産業用ロボット工学が従来の囲い込み型の展開から、人間とロボットがワークスペースを共有する協調環境へと移行する中で、実用的な重要性を持ちます。

テストにおいて、Gemini Robotics ER 2は人物が接近した際にヒューマノイドロボットを正常に停止させ、エリアがクリアになった後にのみ自律的に作業を再開しました。

また、Googleは基盤モデルが安全なVLAオーケストレーターとして機能する能力を評価する新しいベンチマークを導入しています。このベンチマークは、安全上の制約の実施、環境の監視、物理的実現可能性の評価、人間への確認要求を行うモデルの能力をテストします。詳細は安全性技術レポートをご覧ください。

Gemini Robotics ER 2は、Safety Instruction FollowingおよびHuman Proximityベンチマークの両方でER 1.6および他のフロンティアモデルを上回りました。

今後の展望

Googleは、役立つロボットの開発を加速し、より広範なロボット工学コミュニティを支援するため、モデルをさらに複雑なタスクに向けて推進していく計画です。開発者はGitHubで設定とプロンプトの例を確認し、モデルカードで追加の詳細を確認できます。