Google DeepMind、Gemini向けのエージェント型動画理解を発表

2026年9月1日

Google DeepMindは、Gemini 3.7 Flash、3.6 Flash、3.5 Flash-Lite向けにエージェント型動画理解を提供開始しました。Googleによると、この新機能によりモデルは動画セグメントを動的にスキャンでき、精度を向上させながらトークン使用量を最大88%、コストを最大66%削減できます。

この機能は本日より、Google AI StudioおよびGemini Enterprise Agent PlatformのGemini APIを通じて、動画アップロードとYouTube動画で利用できます。開発者はAPI設定で処理を「agentic」にすることで有効化できます。

Google DeepMindのSenior Product ManagerであるRohan Doshi氏と、Research DirectorであるMario Lučić氏は、この動画分析向けの新しいエージェント機能により、トークン消費を最大88%削減し、コストを最大66%抑え、品質を最大7%向上できると述べました。

Google DeepMindによると、エージェント型動画理解は、コード実行とGeminiモデルのネイティブな画像理解を組み合わせるエージェント型ビジョンに似ています。同社は、この動画ツールがGeminiのネイティブ動画機能を活用して性能を高め、1秒未満の瞬間検索、より正確な異常検知、正確なカウントなどの動画処理タスクを可能にすると説明しました。これは特に長尺クリップを扱う開発者に重要で、固定レート処理では短時間の情報を見逃したり、より多くのトークン使用を強いられたりする可能性があります。

ベンチマーク

Google DeepMindは、従来の静的処理では通常、動画を固定のフレームレートで取り込み、既定値は1 FPSだがAPI経由で調整可能だと述べました。これに対し、エージェント型動画理解は、モデルの中核的推論とネイティブな動画ツールを組み合わせ、視覚フレーム、音声、文字起こし全体にわたって対象の動画セグメントを動的に検索、スキャン、検査します。

標準的な動画分析ベンチマークでは、エージェント型動画理解を備えたGeminiモデルは、分析コストを最大66%、トークン消費を最大88%削減しつつ、精度を最大7%向上させると同社は述べました。

同社によると、これらの改善は、10分のハウツー動画、90分の講義、数時間に及ぶ録画などの長尺動画で特に顕著であり、静的処理では高いトークンコストか、重要な細部を省く手法かの選択を迫られます。

Google DeepMindは、Gemini 3.7 Flashでエージェント型動画理解を有効にすると、トークン消費が最大88%減少し、精度が最大7%向上すると述べました。同社は、これらの改善はサポートする3モデルすべてに及ぶ一方で、Gemini 3.7 Flash with agentic understanding が総合的な品質で最も優れ、動画理解で試験したモデルの中で品質とコスト効率の最良のバランスを提供すると付け加えました。

仕組み

モデルが固定フレームレートでメディアストリームを取り込む静的処理とは異なり、エージェント型動画理解では、Geminiが何を見るか、どの速度で見るか、そしてフレーム、音声、文字起こしのどれを使うかを能動的かつ目的指向で判断します。必要な瞬間とシグナルのみを取得します。

Google DeepMindによると、開発者は以前はこの処理を手動で行っていましたが、エージェント型動画理解では、Geminiが内部ツールを呼び出して動画ファイルの関連部分を読み込むエージェントループを通じてこれを実行できます。同社は、これにより開発負担が大幅に減ると述べました。

機能とユースケース

Google DeepMindによると、エージェント型動画理解は、開発者がさまざまな要求の厳しいアプリケーションで長尺動画コンテンツを処理する方法を変えます。

• 1秒未満の瞬間検索: 1 FPSでは見逃しやすい一瞬の状態変化や細かなカット境界を特定し、正確な自動動画編集を可能にします。
• 長尺動画の針探し検索: 数百万トークンを消費することなく、数時間に及ぶ動画全体にわたる複雑な質問に答えます。
• 異常検知: 興味深い時間帯をより高いFPSで再サンプリングし、高速な動きや微細な視覚的アーティファクトを調べます。
• 動作とオブジェクトのカウント: 繰り返される身体動作や個別のオブジェクトを時間を通して正確に追跡します。

トークン効率の高い長尺動画分析

Google DeepMindは、長尺動画理解ベンチマークであるLongVideoBenchにおいて、Gemini 3.7 Flashがエージェント型動画理解あり・なしで大きなトークン削減と精度向上を示したと述べました。レビュー、モデレーション、検索、分析ツールを構築するチームにとって、これらの改善は、カバレッジの広さと全フレーム検査のコストとのトレードオフを緩和する可能性があります。

動的FPSによる高精度な高速動作分析

エージェント型動画理解により、3.7 Flashは必要に応じて異なるフレームレートで動画をスキャンし、再視聴することで、高速な動作を正確にカウントできます。

トークン効率の高い針探し検索

Google DeepMindによると、エージェント型動画理解を使用すると、Gemini 3.7は静的分析と比べて大幅に少ないトークンで、動画コンテンツに基づく複雑な質問に正確に答えられます。

実運用での結果

Google DeepMindは、エージェント型動画理解のテスト中に、多くの早期アクセスパートナーが高い性能を確認したと述べました。

利用開始方法

エージェント型動画理解は、Google AI StudioおよびGemini Enterprise Agent PlatformのGemini API経由で利用でき、Gemini 3.7 Flash、3.6 Flash、3.5 Flash-Liteに展開されます。Google DeepMindによると、追加の機能料金はなく、標準のGemini APIトークン価格が適用されます。

有効化するには、API設定で処理を「agentic」に設定するだけです。Google DeepMindは、利用開始方法の詳細について開発者向けガイドも案内しています。

同社はまた、エージェント型動画理解の効率と品質の改善を、Google製品全体のユーザーにも届けると述べました。この機能は、FlashおよびFlash-Liteモデル全体で、Geminiアプリのすべてのユーザーにまもなく展開されます。さらに今後数か月以内に、エージェント型動画理解はYouTubeの動画視聴ページ上の「Ask YouTube」機能も支え、Geminiを活用して視覚情報に基づくより高品質な回答を提供する予定です。

Google DeepMindは、本取り組みへの貢献としてSergi Caelles氏、Filip Pavetić氏、Ahmet Iscen氏、Suhas Yogin氏、そしてAgentic Visionチームに謝意を示しました。