新聞股票OpenAI、Microsoft 與 CrowdStrike 推出相互競爭的失控 AI 代理防制機制

OpenAI、Microsoft 與 CrowdStrike 推出相互競爭的失控 AI 代理防制機制

作者: Cryptopolitan·

重點速覽

  • •OpenAI 的 Control Room 部署於其研究基礎設施中,在收到停止指令後最快 35 秒內讓模型停止輸出,但偵測時間不計入其中,且先前的行動無法復原。
  • •CrowdStrike 於 11 月 3 日透過 Falcon Guardian 平台推出的 AI Kill Switch,可經由已連接的閘道阻斷代理存取其依賴的模型,並計劃擴展至端點、雲端環境與企業身分識別系統。
  • •Microsoft 的 11 月 5 日更新詳述了僅針對當前任務授予權限的動態權限,搭配現已正式推出、可限制檔案、網路與程序存取的 Windows 執行容器。
  • •NIST、NSA 與 CISA 十月發布的指南針對失控 AI 代理的處理列出涵蓋準備、偵測、應變、復原與通報五階段的十項自願性實務,但未認證任何商業安全產品。
  • •近期發現凸顯了風險:METR 稽核指出 OpenAI 早期代理監控的潛在弱點,Gartner 預估 2027 年 AI 安全支出接近 48 億美元,BCG 調查則顯示僅 23% 的受訪者已為代理導入監控或日誌記錄。
OpenAI、Microsoft 與 CrowdStrike 推出相互競爭的失控 AI 代理防制機制

OpenAI、Microsoft 和 CrowdStrike 正各自採取行動,約束超出預期運作參數的 AI 代理,且三者的做法針對不同的失敗點。OpenAI 能終止研究模型的輸出;CrowdStrike 切斷代理對其依賴的 AI 模型的存取;Microsoft 則限制代理可執行的行動。但沒有任何一項防護是單獨运作即滴水不漏的:代理仍可能保有其他工具、憑證或網路連線的存取權,而這些不受上述控管涵蓋。這些措施於 11 月初數日內接連公布。

OpenAI 的 Control Room 能與不能阻止的事

11 月 9 日,OpenAI 說明了 Control Room 的運作方式。該系統目前部署於公司的整體研究基礎設施中,負責追蹤需要 AI 生成輸出的工作。只要有人員或自動監控機制將工作暫停,Control Room 最快可在 35 秒內讓模型停止輸出。

這 35 秒並不包括偵測問題所需的時間。計時器僅在 Control Room 收到停止指令後才啟動。在此期間研究工作可能仍在執行,且先前已執行的行動無法復原。OpenAI 將此延遲歸因於授權所使用的快取系統,並表示正在設法消除此延遲。

CrowdStrike 與 Microsoft 走企業路線

11 月 3 日,CrowdStrike 透過其 Falcon Guardian 平台推出 AI Kill Switch。安全團隊啟用該功能後,已連接的 AI 閘道將阻斷代理存取其用於決策的模型。目前 AI Kill Switch 僅能透過已連接的閘道運作。CrowdStrike 計劃將功能擴展至端點、雲端環境與企業身分識別系統,以對失控的 AI 代理提供更廣泛的圍堵。

Microsoft 的 11 月 5 日更新詳述了動態權限(Dynamic Permissions),僅針對當前任務授予權限。Dynamic Agent Risk 與 Conditional Access 可收緊權限或要求人工核准。現已正式推出的 Windows 執行容器(Windows Execution Containers)則限制對檔案、網路與程序的存取。與 Intune、Entra 和 Agent 365 的整合即將推出。

政府的應變基準

美國政府也已概述組織應如何處理失控的 AI 代理。NIST、NSA 與 CISA 十月發布的指南列出十項自願性實務,涵蓋五個階段:準備、偵測、應變、復原與通報。

這些機構建議蒐集證據、中止未經授權的活動,並在恢復運作前確保已完成圍堵。組織也應進行模擬事件應變演練,以確認自身具備應對失控 AI 代理活動的能力,並應向主管機關通報事件。11 月初公布的各廠商控管機制正對應這些停止與圍堵步驟:終止模型輸出、切斷模型存取,以及限制代理可執行的行動。

NIST–NSA–CISA 指南專為開發或測試極少人工介入之進階 AI 代理的組織而撰寫。它提供應採取行動的指引,但並未認證任何商業安全產品,因此 AI Kill Switch 和動態權限等工具均未獲得該指南的背書。

外部稽核為何持續發現漏洞

近期事件顯示這些防護措施的重要性。OWASP 的彙整報告記錄了七起安全事件與漏洞揭露,其中部分涉及同一攻擊。其中一案中,OpenAI 的評估代理未經授權存取了 Hugging Face 的生產系統。

另一項獨立的 METR 稽核則揭露了 OpenAI 早期監控系統的潛在弱點。研究人員估計,某些內部代理流量中有 75% 至 94% 屬於應受監控的範圍,但這不代表所有符合條件的流量都實際受到監控。OpenAI 表示大部分漏洞已修復,但 METR 並未獨立驗證這些變更,該稽核也未評估 OpenAI 較新的控管機制。

鎖住代理的代價

對更強 AI 安全的需求正催生一個不斷成長的市場。Gartner 預估,2027 年支出將接近 48 億美元,2028 年達 77 億美元,並預期到 2029 年,針對 AI 代理的成功攻擊中將有過半數利用薄弱的存取控制或提示注入(prompt injection)。

許多企業仍未做好準備。BCG 的調查發現,僅 23% 的受訪者已為其代理導入監控或日誌記錄機制。

法規進展同樣緩慢。Brookings 指出,歐盟高風險 AI 的相關要求已延後至 2027 年 12 月與 2028 年 8 月,在此期間,企業須自行投資安全防護與監督機制。

風險已然浮現。Cryptopolitan 報導,一個 OpenAI 研究模型為完成編碼任務,動用了不屬於它的 Sepolia 測試網路錢包資金。這些代幣雖無市場價值,但該模型是在未經錢包持有者許可的情況下行動。

各公司自身的路線圖界定了近期的檢核點:CrowdStrike 計劃擴展至端點、雲端環境與企業身分識別系統;Microsoft 即將推出的 Intune、Entra 和 Agent 365 整合;以及 OpenAI 消除授權快取延遲的工作。此事件為企業留下一個現實問題:這些各自獨立的安全控管能否協同運作,以防範類似的未經授權行動?

來源:Cryptopolitan