OpenAIはGPT-6モデルファミリー全体でプロンプトキャッシングのアップグレードを展開し、キャッシュヒット率の向上と、永続的なAIエージェントをより速く、低コストで運用するための新しい開発者向けコントロールを導入しました。同社は公式発表でこれらの変更を詳述しています。

プロンプトキャッシングは、複数のAPIリクエストが同じ指示、ツール、またはコンテキストを共有する場合に、アプリケーションが計算を再利用できるようにする仕組みです。更新されたシステムでは、キャッシュされた入力トークンに最大90%の割引が適用される可能性があり、GPT-5.6以降のモデルでは、最終利用後少なくとも30分間、対象となるキャッシュ済みプレフィックスを再利用できます。毎回同じ指示、ツール定義、会話履歴を再送信する傾向があるエージェント型アプリケーションでは、各リクエストのどれだけをキャッシュから供給できるかが、運用コストと応答時間の両方に直接影響します。

この改善は、長時間にわたって作業し、リクエスト間で大量のコンテキストを繰り返し運ぶエージェント、たとえばコードベースをリファクタリングするコーディングエージェントや、長編の調査ドキュメントを作成するシステムなど、同じコンテキストが1つのタスクの過程で何度も再処理される可能性のあるワークロードを特に対象としています。

モデル側の変更に加えて、OpenAIは開発者がキャッシュヒット率を追跡し、キャッシュ済みと未キャッシュのトークン使用量を比較できるプロンプトキャッシングダッシュボードを公開しました。別の診断ツールは、リクエストがキャッシュミスを起こした原因となったモデル、ツール、設定、または入力の変更を特定できます。これらのツールにより、チームは実際のトラフィックのどれだけがキャッシュ可能かを測定でき、キャッシュの挙動は目に見えないインフラの詳細から、監視・調整可能なものへと変わります。

また、開発者は明示的なキャッシュブレークポイントを設定して、プロンプトのどの部分を再利用するかを制御できるようになりました。これにより、システム指示やツール定義などの安定したコンテンツをキャッシュに保持しながら、変化しやすいプロンプトのセグメントを変更することが可能になります。さらにGPT-6モデルでは、適に設定された場合、推論強度を応答間で変更しても、以前にキャッシュされたコンテキストが無効化されないようになっています。

もう一つの追加機能はキャッシュプリウォーミングで、ユーザーがリクエストを送信する前に、アプリケーションが共有指示、ツール定義、または参照資料を処理できるようにし、モデルが応答を開始するまでに必要な処理量を削減します。

この機会の規模はすでに顧客データに表れています。GitHubによると、OpenAIのキャッシングインフラの改善により、OpenAIモデルへの数十億件のリクエストにおいて、再処理が必要なプロンプトトークンの割合が50%以上削減されたといいます。これは、実際のワークロードのうちキャッシュ可能な部分がどれほど大きくなり得るかを示すものです。

今回のアップデートは、OpenAIが2024年に導入したプロンプトキャッシング機能、すなわち繰り返し使用されるプロンプトプレフィックスに自動割引を提供していた機能を基盤とするものです。GPT-6システムは、より長い再利用期間と、キャッシュの挙動に対するより直接的な開発者コントロールによって、これらの機能を拡張しています。エージェントのセッションが単発のやり取りから数時間規模のタスクへと長期化するにつれ、ワークロードのうちキャッシュから供給できる割合は、チームがプロンプトを構成しAPIコストを管理するうえでの実用的な要素になりつつあります。