エンタープライズ人工知能(AI)は、会話から実行へと移行しつつある。自動化システムが通常の人間ユーザーよりはるかに多くのモデル処理能力を消費しているためだ。

OpenRouterの記録によると、8月10日時点の7日間平均でエージェントによるトークンは約7.3兆に達し、2月上旬の水準の約14倍となった。同期間の人間による使用量は約1.4兆トークンで、2月上旬から2.8倍に増加した。その結果、プラットフォームを経由するトラフィック全体で、AIエージェントが人間の5倍以上のトークンを消費している状況となった。

トークンとは、言語モデルが読み取り生成するテキストの断片であり、多くのプロバイダーがAPI利用量の計測・課金に用いる単位でもある。そのためこの比率は、推論コンピューティングがどこに向かっているかを直接示す尺度となる。複数のプロバイダーのモデルへ開発者のリクエストを振り分けるルーティングサービスであるOpenRouterは、ツール呼び出し、会話のターン数、タイミングパターンなどのシグナルを用いてエージェントによる活動を識別している。これらの数値は生成AI市場全体ではなくOpenRouterのトラフィックを反映したものだが、自動化されたワークロードがどれほど急速に拡大しているかを示している。単一のプロンプトに回答するチャットボットとは異なり、AIエージェントは情報を調べ、ツールを呼び出し、出力を検証し、手順を修正し、作業を完了するまで行動を繰り返すことができる。

エンタープライズAI、チャットから自動化ワークフローへ

OpenAIの「Enterprise Signals」レポートは、特に最も利用率の高い層において、企業内部でも同様の移行が起きていることを示している。エンタープライズAIユーザーの上位10%と定義されるフロンティア企業は、1人のアクティブユーザーあたりのアウトプットトークンを典型的な企業の8.3倍生成した。

この差は1月時点では2.6倍であり、通常のエンタープライズでの導入と最も集中的なユーザーとの間の格差が拡大していることを示している。6月までに、OpenAIのソフトウェア開発向けエージェントであるCodexは、エンタープライズ顧客におけるCodexとChatGPTを合わせたアウトプットトークンの64%を生成した。

Codexの週間アクティブユーザーは2月以降、法務分野で108倍、営業・採用分野で41倍増加した。この構成は、エンタープライズでの利用がチャットからコーディング、ドキュメント作成、調査などの複数ステップのワークフローへ拡大していることを示唆している。

OpenAIはまた、フロンティア企業ではアクティブユーザーの21%が週次でPluginsを利用しているのに対し、典型的な企業では9%であると報告した。この差は、単に質問に回答するだけでなく、ツールを使用し、ファイルを作成し、タスクを完了できるシステムへの移行を裏付けている。

Codex、Plugins、キャッシングがチャットを超えた移行を推進

Andreessen HorowitzはOpenRouterのデータを引用し、エージェントによるトークン使用量の85%超が現在キャッシュされたプロンプトから生じていると述べた。プロンプトキャッシングにより、システムは繰り返しの呼び出し時に同一の入力を再計算するのではなく、処理済みのコンテキストを再利用できる。

OpenAIによると、キャッシングはレイテンシーと入力コストを削減でき、同一コンテキストを繰り返すワークロードの運用コストを低減する。推論は一般的にトークン単位で課金されるため、コンテキストを再計算せず再利用することは、エージェントが実行する長く反復的な呼び出しシーケンスのコストに直接影響する。ただし、こうしたワークロードは依然として、推論を処理するGPUと並行して、大規模なコンテキストを保存し迅速に再利用できるインフラを必要とする。

企業がより複雑な業務を自動化システムに委ねるにつれ、メモリ容量と帯域幅の重要性が高まっている。この移行は従来のワークフローソフトウェアにとっても試練となる。

A16zは、エージェントの採用拡大は、タスクを推論しながら処理するシステムをユーザーが採用するにつれ、固定された自動化ステップを中心に構築された製品に圧力をかける可能性があると主張した。とはいえ、ウェブトラフィックの変化だけでは置き換えを証明できず、業務アプリを連携させて複数ステップのタスクを自動化するプラットフォームであるZapier、Make、n8nもAI機能を追加している。

全体として、エンタープライズソフトウェアがユーザーに代わってより長い作業の連鎖を実行するにつれ、AIエージェントはより多くのトークン需要を生み出している。このパターンが拡大するにつれ、エンタープライズAIはチャット量ではなくソフトウェアに委ねられる作業量によって定義されるものとなりつつあり、すでに視野に入っている指標——エージェントのトークントラフィックに占める割合、フロンティア企業のアウトプット格差、キャッシュ済みプロンプトの割合——が、その行き着く先を示すことになる。