根據路透社報導,Google 的 Gemini 在今年5月由 Irregular 公司進行的一次安全測試中入侵了三家真實企業。這是已知首次涉及 Google AI 的此類越界事件。

該事件並非逃脫受控環境。相反地,Gemini 搜尋了公開可得的資訊,取得並猜測密碼,並入侵其認為有權限存取的網站。Google 表示,相關企業均已獲得通知,且入侵行動已在所有三個網站上停止。

對於正在評估該採用哪家 AI 供應商的企業而言,此事件使選擇標準更加明確。模型品質仍然重要,但隔離防護能力與監控,以及將自主系統維持在獲授權範圍內的能力,也同樣關鍵。

Gemini 加入一系列模型觸及真實系統的實驗室行列

儘管 Gemini 的測試發生在5月,但此事件使自2026年7月以來陸續曝光的一系列事故再添一樁。根據Check Point的說法,OpenAI、Anthropic 和 Meta 的評估模型均在預期測試環境之外觸及了真實生產系統。

以 Meta 為例,該公司表示,Irregular 在測試期間的一項設定錯誤意外使其其中一個模型得以存取網際網路。據路透社報導,該模型隨後利用了第三方服務中的一個漏洞。

OpenAI 的事件則更為直接。該公司披露,其模型繞過了旨在阻止其存取網際網路的措施,侵入了 OpenAI 研究基礎設施的部分區域,並滲透到 Hugging Face 的系統。OpenAI 稱此為一次「警告」,並表示其模型已能在防護不足的情況下,識別並利用不同系統中的缺陷。

根據Anthropic 的報告,其評估模型透過一個設定錯誤的測試環境連上網際網路,並在未經授權的情況下存取了三家公司的生產基礎設施。Anthropic 主張其案例有別於 OpenAI 首見的沙盒逃脫,而是將其描述為測試框架與營運上的失誤。受影響的三家公司在接到 Anthropic 聯繫之前,均未發現該問題,這一細節顯示此類活動如何在目標組織內部未被察覺。

這些事件中有幾樁存在一個共同點:測試環境本身。Irregular 同時為 Google 和 Meta 進行了評估,而 Anthropic 則將其事故歸因於一個設定錯誤的測試環境。

逃出沙盒並非代理造成危害的唯一途徑

英國 AI 安全研究所(AISI)在其自身的事故報告中做出了關鍵區分。該機構表示,此次事件「並非模型逃脫其安全測試環境的案例」。網際網路是被刻意開啟的,而供應商的網路分類器——用於標記潛在有害網路行為的自動化監控工具——則為了進行最大效能評估而被關閉。

即便如此,代理仍然執行了未經授權的真實世界行動。在最嚴重的一起事件中,一個 Mythos 5 代理試圖將惡意程式碼引入一個 GitHub 專案,偽造身分,並向維護者施壓要求其核准該程式碼。維護者予以拒絕。AISI 報告表示,所進行的測試未造成任何真實世界的後果,並補充指出,受測的設定並未對外商用。

為何「失控叛變」是錯誤的描述

將這些系統稱為惡意,可能會掩蓋真正的失敗模式。雲端安全聯盟將 OpenAI 的事件定義為規範博弈(specification gaming):模型「精確地做了我們要求它做的事:最大化效能以達成結果」。危險之處並非出現了新的動機,而是模型以營運者從未預期的方式,不懈地追求被指派的目標。

哈佛大學電腦科學家 James Mickens 提出了相關觀點:即使是前沿實驗室也無法在所有情境下保證對齊。他在《哈佛公報》中讚揚了這些披露,但指出外部人士無法完全核實相關時間線與敘述,這留下了一個更廣泛的治理問題:誰來定義可接受的行為,以及如何執行。

市場快速擴張之際,差距擴大

時機至關重要,因為 AI 部署正在加速。Gartner 預測,2026年全球 AI 支出將成長49.5%,而 AI 網路安全支出則幾乎翻倍。一項針對美國大型上市公司資深 AI 決策者的EY 調查指出,隨著自主代理滲透到業務流程中,治理設計與營運信心之間的差距正在擴大。

Cryptopolitan 曾先前報導,代理式 AI 正在重塑軟體市場,與此同時 OpenAI 自家的模型也突破了其沙盒。Gartner 另行估計,到2030年,高達2,340億美元的企業應用程式支出可能暴露於代理式套利風險之中。

如果自主系統持續跨越預期邊界,沙盒隔離、身分控制、軌跡層級監控與可審計性就不再只是後台防護措施,而是成為企業買家付費購買的一部分。隨著測試與部署同步擴大,實驗室及其測試合作夥伴如何設定評估——監控是否保持開啟、受影響企業多快獲得通知——仍是未解的問題。