Induction Labsは、動画から学習するエージェントにとって、行動ラベルが大きな制約になっていると述べている。同社は、各フレームを生み出した行動を示すラベルなしで生の動画を事前学習するよう設計された基盤モデルアーキテクチャ、同社のいうimagination modelsを公開した。

そのテストシステムであるPhoton-1は、Induction Labsが18 years分のコンピューター操作デモ動画と説明するデータで訓練された、スパースな106B-A5B mixture-of-experts、すなわちMoEトランスフォーマーである。同社は、社内のコンピューター操作ベンチマークにおいて、Photon-1がGemini 3.1 Flash-Liteを上回り、事前学習の計算量を大幅に抑え、提供コストもおよそ3×低いと報告している。この取り組みは、コンピューター操作エージェントの中核的な課題を対象としている。画面動画は大量に存在する一方で、その多くには各状態を生み出したクリック、キー入力、指示の構造化記録が付随していないためだ。

imagination modelの仕組み

imagination modelは、next-latent-token-prediction目的を通じて、将来のフレームを自己回帰的に予測する。事前学習中にピクセルを直接生成するわけではない。代わりに、システムは学習された表現空間内で動画をモデル化する。

Induction Labsの中心的な主張は、事前学習中に明示的な行動ラベルを一切観測しなくても、将来の状態を予測することでモデルがタスク遂行を学習できるというものだ。同社はこの学習された振る舞いをimplicit policyと説明している。モデルはマウスクリックごとのラベルを学ぶのではなく、人がコンピューター上で何をしているのかという、より高次の概念を学習することを意図している。

圧縮と表現

Photon-1のアーキテクチャは、finite scalar quantization、すなわちFSQを用いるビジョンエンコーダーに依存している。各フレームは960個の離散トークンに圧縮される。各トークンは8次元ベクトルであり、各次元は−1、−1/2、0、1/2、1の5つの値のいずれかを取る。これにより、5⁸通りのコードを持つコードブックが生成される。

その結果得られる表現は、1フレームあたり約2.2 KBとなる。Induction Labsは、テキスト、レイアウト、状態変化を保持しながら、既存のOCRおよびマルチモーダルモデル表現に比べて100×超の圧縮率向上を実現すると報告している。この圧縮は同社の主張の中心にある。動画の事前学習はモデルサイズだけでなく、実用的な訓練予算とコンテキストウィンドウに収まるフレームトークン数にも制約されるためだ。

この圧縮率を達成するために、Photon-1はdifferential latent encoderを使用する。各フレームを単独の画像としてのみ符号化するのではなく、動画フレームをペアとして符号化することで、潜在表現がフレーム内容だけでなくフレーム間の差分を表すようにしている。

データセットと事前学習の計算量

訓練コーパスは、公開されている動画2 billion本の社内インデックスから始まった。フィルタリングにより、その集合は約2 million本のコンピューター画面録画に絞り込まれた。その後、Induction Labsは社内のキーフレーム検出モデルを用いて冗長なフレームを除去した。

最終データセットには、1秒あたり1フレームでサンプリングされた575 million枚のフレームが含まれていた。同社によれば、これは552 billionトークン、または約18 years分の動画に相当する。Photon-1はスクラッチから1エポックだけ事前学習された。

32Kのコンテキスト長で106B-A5B MoEモデルを訓練するのに、約30,000 H200 GPU-hours、すなわち4.4×10²² training FLOPsを要した。研究チームはPyTorchで訓練スタックを実装し、ビジョンエンコーダーとMoE層向けのカスタム融合カーネルを使用して、エンドツーエンドで40%のMFUを維持した。報告された数値は相互に整合しており、40% MFUで30,000 H200-hoursという値は4.3×10²² FLOPsに近い。

予測から行動へ

事前学習後、Induction Labsは行動と指示のフォーマットを教えるため、35,000未満のコンピューター操作軌跡でPhoton-1をファインチューニングした。特別なコンピューター操作トークンにより、モデルは行動を出力できる。推論時には、Photon-1はまず次フレームの状態を予測し、その状態に到達するために必要な行動を出力する。

同社はその後、オンライン強化学習を適用する。ロールアウトは大規模な仮想マシン上でリアルタイムに実行され、結果は報酬を生成するためにプログラムで検証される。Linux仮想マシンには、LXQt、Xfce、MATE、GNOME、Plasmaの5つのデスクトップ環境が含まれる。各VMには、ログインアクセスを必要とするWebアプリケーション用のGoogleアカウントに加え、レート制限のない社内ChatGPTクローンが用意されている。この構成は、オフライン予測だけでなくクローズドループの振る舞いをテストすることを意図している。コンピューター操作モデルは、自らの行動から回復し、変化するインターフェース上で動作する必要があるためだ。

計算量とコストの比較

Induction Labsは、計算量とコストの比較を入力対出力トークン比10:1で重み付けしていると述べており、これは同社のコンピューター操作テストと一致するという。

これらの数値には2つの注意点がある。第一に、Geminiとの比較はInduction Labs自身による保守的な推定であり、8Bのアクティブパラメーターと25Tの事前学習トークンを仮定している。この仮定に基づくと、比率は見出しの30×ではなく約27×となる。Induction Labsは、実際のGeminiの数値はより高い可能性が高く、モデルも蒸留されている可能性が高いと考えているため、「at least 30×」としている。第二に、このベンチマークは社内のもので公開されていないため、現時点では結果を独立に再現できない。

Induction Labsのハードウェア上でのPhoton-1自体の損益分岐コストは、speculative decodingなしで、入力トークン1 millionあたり$0.06、出力トークン1 millionあたり$0.60と報告されている。

デスクトップ動画を超えたテスト

Induction Labsはまた、Photon-1が事前学習中に見た唯一の動画種別であるデスクトップのコンピューター操作動画を超えて汎化できるかも評価した。研究チームは、事前学習には含まれていなかったドメインでモデルをファインチューニングし、2つのベースラインと比較した。1つは同じアーキテクチャとサイズを持つがimagination事前学習を行っていないビジョンエンコーダーのベースライン、もう1つは20Tトークンで事前学習されたInclusion AIのLLMベースライン、Ling-flash-2.0である。

Open Checkers Archive 2.0の20,000局のトーナメントチェッカーゲームでは、Photon-1は世界シミュレーションと手の品質の両面で両ベースラインを上回った。5 fpsでシミュレートされた10,000件の合成生成ビリヤードゲームでは、Photon-1はグラウンドトゥルースの物理エンジンに対して平均絶対誤差0.47を示した。これに対し、LLMベースラインは1.15、ビジョンエンコーダーベースラインは1.44だった。これらのテストは公開されたコンピューター操作評価を代替するものではないが、事前学習目的がデスクトップ固有の視覚パターンだけでなく、転移可能な状態ダイナミクスを学習したかどうかを調べることを意図している。

Induction Labsは、Photon-1が事前学習動画から人間の事前知識も獲得したとしている。強化学習後、モデルはVM内のChatGPTクローンを使って成果物を作成し、知識質問に答えることを学び、人間のユーザーに近い方法でLLMを誘導したという。

同社はPhoton-1のモデル重み、API、ライセンスを公開していない。この結果は、デプロイ可能な公開モデルではなく、研究デモにとどまる。Induction LabsはXでの発表スレッドも公開している。