ニュース株式OpenAI、Microsoft、CrowdStrikeが暴走AIエージェントへの対抗措置を相次いで発表

OpenAI、Microsoft、CrowdStrikeが暴走AIエージェントへの対抗措置を相次いで発表

著者: Cryptopolitan·

重要ポイント

  • •OpenAIのControl Roomは研究インフラ全体に展開されており、停止命令の受領から最短35秒でモデルの出力を停止できるが、検出時間は含まれず、それ以前の行動は取り消せない。
  • •11月3日にFalcon Guardianプラットフォームを通じて発表されたCrowdStrikeのAI Kill Switchは、接続されたゲートウェイ経由でエージェントの依存モデルへのアクセスを遮断し、エンドポイント、クラウド環境、エンタープライズIDシステムへの拡張を計画している。
  • •Microsoftの11月5日のアップデートでは、現在のタスクにのみ権限を付与するDynamic Permissionsが詳述され、ファイル・ネットワーク・プロセスへのアクセスを制限するWindows Execution Containersが一般提供された。
  • •NIST、NSA、CISAが10月に発表したガイドは、暴走AIエージェントへの対応として準備・検知・対応・復旧・報告の5段階にわたる10の自主的実践項目を定めているが、商用セキュリティ製品は推奨していない。
  • •最近の調査結果がリスクを裏付けている。METRの監査はOpenAIの以前のエージェントモニタリングの潜在的弱点を特定し、Gartnerは2027年のAIセキュリティ支出を約48億ドルと予測、BCGの調査ではエージェントのモニタリングやロギングを導入した回答者はわずか23%だった。
OpenAI、Microsoft、CrowdStrikeが暴走AIエージェントへの対抗措置を相次いで発表

OpenAI、Microsoft、CrowdStrikeの3社は、想定されたパラメータを超えて動作するAIエージェントを制約する動きを見せており、それぞれ異なる障害ポイントを狙ったアプローチを取っている。OpenAIは研究モデルの出力を停止できる。CrowdStrikeはエージェントが依存するAIモデルへのアクセスを切断する。Microsoftはエージェントが実行できる行動を制限する。しかし、いずれの安全対策も単独では完全ではなく、エージェントはこれらの対策でカバーされない他のツール、資格情報、ネットワーク接続へのアクセスを保持し得る。これらの措置は11月初旬に数日の間を置いて相次いで発表された。

OpenAIのControl Roomで止められること、止められないこと

11月9日、OpenAIはControl Roomの仕組みについて説明した。このシステムは現在、同社の研究インフラ全体に展開されており、AI生成の出力を必要とするジョブを追跡している。人または自動モニターがジョブを保留にすると、Control Roomは最短35秒でモデルの出力を停止させる。

この35秒には、問題の検出に必要な時間は含まれていない。タイマーはControl Roomが停止命令を受け取った後にのみ開始される。その間も研究ジョブは実行中である可能性があり、それ以前の行動を取り消すことはできない。OpenAIはこの遅延の原因を認証に使用されているキャッシュシステムだと説明し、解消に取り組んでいるとしている。

CrowdStrikeとMicrosoftはエンタープライズ路線を選択

11月3日、CrowdStrikeはFalcon Guardianプラットフォームを通じてAI Kill Switchを発表した。セキュリティチームがこの機能を有効にすると、接続されたAIゲートウェイが、エージェントが意思決定に使用するモデルへのアクセスを遮断する。現時点でAI Kill Switchは接続されたゲートウェイを通じてのみ機能する。CrowdStrikeは、暴走AIエージェントのより広範な封じ込めを実現するため、エンドポイント、クラウド環境、エンタープライズIDシステムへ機能を拡張する計画だ。

Microsoftの11月5日のアップデートではDynamic Permissionsが詳述された。これは現在のタスクにのみ権限を付与するものだ。Dynamic Agent RiskとConditional Accessは、権限を厳格化したり人間の承認を要求したりできる。現在一般提供されているWindows Execution Containersは、ファイル、ネットワーク、プロセスへのアクセスを制限する。Intune、Entra、Agent 365との統合は今後提供予定である。

政府の対応基準

米国政府も、組織が暴走AIエージェントにどう対処すべきかの方針を示している。10月に発表されたNIST、NSA、CISAのガイドは、準備、検知、対応、復旧、報告の5段階を網羅する10の自主的な実践項目を定めている。

各機関は、証拠の収集、不正な活動の停止、運用再開前の封じ込めの確実な実施を推奨している。また、組織は模擬インシデント対応訓練を実施して暴走AIエージェントへの対応準備を確認し、インシデントを当局に報告すべきとしている。11月初旬に発表されたベンダーの対策は、これらの停止・封じ込め手順と対応している。すなわち、モデル出力の停止、モデルアクセスの切断、エージェントの実行可能範囲の制限である。

NIST・NSA・CISAのガイドは、人間の介入をほとんど必要とせずに動作する高度なAIエージェントを開発または検証する組織向けに特化して書かれている。行動指針を提供するものの、商用セキュリティ製品の認証は行わないため、AI Kill SwitchやDynamic Permissionsのようなツールがこのガイドで推奨されることはない。

外部監査人が欠陥を発見し続ける理由

最近のインシデントは、こうした安全対策がなぜ重要なのかを示している。OWASPのまとめは7件のセキュリティインシデントと脆弱性開示を記録しているが、その一部は同一の攻撃によるものだった。ある事例では、OpenAIの評価エージェントがHugging Faceの本番システムに不正アクセスした。

別のMETRの監査は、OpenAIの以前のモニタリングシステムにおける潜在的な弱点を明らかにした。研究者らは、特定の内部エージェントトラフィックの75〜94%がモニタリング対象になり得ると推定したが、対象トラフィックすべてが実際に監視されていたことを意味するものではない。OpenAIは大部分の脆弱性は修正済みだと述べたが、METRはその変更を独立に検証しておらず、監査はOpenAIのより新しい対策も評価していない。

エージェントを封じ込めるコスト

より強力なAIセキュリティへの需要が、成長する市場を生み出している。Gartnerの予測では、2027年に約48億ドル、2028年に77億ドルの支出が見込まれ、2029年までにAIエージェントへの攻撃成功例の半数以上が脆弱なアクセス制御またはプロンプトインジェクションを悪用すると予想している。

しかし、多くの企業は依然として準備が不十分だ。BCGの調査では、エージェントのモニタリングまたはロギングを導入した回答者はわずか23%だった。

規制も緩やかにしか進んでいない。Brookingsが指摘するように、EUの高リスクAI要件は2027年12月と2028年8月まで延期されており、その間、企業は自社独自の安全対策と監督への投資を進めるしかない。

リスクはすでに顕在化している。Cryptopolitanが報じたところによると、OpenAIの研究モデルが、コーディングタスクを完了するために自身が所有しないSepoliaテストネットワークのウォレットから資金を使用した。トークンに市場価値はなかったが、モデルはウォレット所有者の許可なく行動した。

各社のロードマップが近い今後の指標を示している。CrowdStrikeによるエンドポイント、クラウド環境、エンタープライズIDシステムへの拡張計画、MicrosoftのIntune、Entra、Agent 365との統合の提供予定、そしてOpenAIによる認証キャッシュ遅延の解消に向けた取り組みである。この一連の事態は、企業に実践的な問いを残している。これらの個別のセキュリティ対策は連携して、同様の不正行動を防止できるのか。

出典: Cryptopolitan