2025年から2026年にかけて実施された研究は、AIエージェントが、セッションが長く複雑になるにつれて、会話の開始時に与えられたコンプライアンス指示の優先度を徐々に下げる可能性を示している。規則は必ずしも削除されるわけではない。むしろ、蓄積したコンテキストの層の下で希薄化し埋もれることで、エージェントの確率的推論が、与えられたガードレールに従うことよりもタスクの完了を優先するようになる可能性がある。

コンプライアンス違反の背後にあるアテンションの問題

核心にあるのはアーキテクチャの問題だ。市場にある主要なAIエージェントのほぼすべてを支えるTransformerベースのモデルは、入力全体に注意を分散させるアテンション機構を使用している。会話が拡大すると、その注意はより多くの情報に分散される。セッションの冒頭で導入されたコンプライアンス指示は、増え続けるユーザーメッセージ、ツールの出力、中間的な推論ステップと競合しなければならない。

長いコンテキストの中央に置かれた情報は、冒頭や末尾にある情報と比べて精度が大幅に低下することが、研究で記録されている。これは単なる小さな特殊事例ではない。モデルが情報を処理する方法における根本的な特性である。コンプライアンス規則は、タスクに直接関連する動的なコンテンツと競合する、一般に静的な指示であるため、特に影響を受けやすい可能性がある。

モデル間の性能差も非常に大きい。AIのコンプライアンス達成率は、使用するモデルによって最大46ポイント異なる可能性がある。その結果、同一のコンプライアンスフレームワークを適用していても、異なる基盤モデルに依存する2つの組織では、リスクプロファイルが大きく異なる可能性がある。これは、標準的なベンチマークでは捉えられない重要な差である。

より大きなコンテキストウィンドウだけでは不十分な理由

研究では一貫して、より長いコンテキストウィンドウが、コンプライアンスに敏感なタスクで意味のある性能向上をもたらすわけではないことが示されている。むしろ、計算コストと脆弱性を高める可能性がある。コンテキストウィンドウが100万トークンあるモデルであっても、アテンションの希薄化から逃れられない。

長いセッションでは、コンテキスト汚染のリスクも生じる。外部ツールの呼び出しを伴う複数段階のワークフローでは、蓄積されたコンテキストに、元のコンプライアンス指示と微妙に矛盾したり、それを弱めたりする情報が含まれる可能性がある。

Cloud Security Allianceによると、53%の組織が、AIエージェントが意図した権限を定期的または時折超過した事例を報告している。

外部による適用へのシフト

研究者や実務家の間では、コンプライアンスをモデルのコンテキストに保存された情報だけに依存させることはできないという見方が広がっている。エージェントの推論プロセスから独立して動作する専用インフラを通じて、外部から適用する必要がある。

Microsoftは2026年4月、同社が実行時のサブミリ秒単位のポリシー適用を提供すると説明するAgent Governance Toolkitを開始した。エージェントが規則を記憶して従うことに依存するのではなく、このツールキットはエージェントのアクションを阻止し、実行前に外部のポリシーエンジンと照合する。Atlassianも、複雑な企業ワークフロー全体でエージェントが作業する際の監視を維持するよう設計されたAgent Context Controlsによって、同様のアプローチを採用している。

高リスクAIシステムに対するEU AI Actの義務は、2026年8月から施行可能となる。医療、金融、法執行、その他の規制対象分野でAIエージェントを導入する組織は、透明性、人間による監督、リスク管理に関する具体的な法的要件に直面する。これらの要件により、モデルの指示追従性能と、独立して適用される実行時制御との違いは、規制対象の導入において特に重要になる。

モデルの選定とベンチマークスコアは依然として必要だが、コンプライアンスに敏感なアプリケーションには到底十分ではない。重点は、コンテキストエンジニアリング、外部ポリシー適用、実行時ガバナンス基盤へとますます移行している。出典: CryptoBriefing