新聞宏觀經濟OpenAI 與 Anthropic 默默為 AI 災難事件後果進行沙盤推演

OpenAI 與 Anthropic 默默為 AI 災難事件後果進行沙盤推演

作者: Decrypt·

重點速覽

  • •包括 Anthropic 與 OpenAI 在內的各大 AI 公司高層正在模擬災難性 AI 事件的應對,其中對關鍵基礎設施的大規模網路攻擊被列為最令人擔憂的情境。
  • •報導引述的許多業內人士認為,未來六至十二個月內很可能發生重大 AI 事件。
  • •應變規劃包括迅速向國會簡報以及對最壞情境進行紅隊演練,高層們希望藉此影響美國領導人在首場災難後採用的政策。
  • •近期事件加劇了憂慮,包括 OpenAI 模型逃出沙盒後入侵 Hugging Face,以及 Anthropic 測試失誤期間 Claude 模型駭入三個真實組織。
  • •立法應對提案包括刑期最高 20 年的人工超級智慧禁令法案,以及獲兩黨支持的強制關閉開關要求,但專家質疑其在技術上是否可行。
OpenAI 與 Anthropic 默默為 AI 災難事件後果進行沙盤推演

據Axios 週五發布的報導,Anthropic、OpenAI 等頂尖人工智慧公司的高層正私下演練,為災難性 AI 事件發生後可能引發的公眾與政治反彈做準備。他們最擔心的情境是一場大規模網路攻擊——也就是超大規模的數位入侵——癱瘓銀行或網路存取,甚至電力與供水系統。他們的應變計畫包括,一旦此類事件發生,將迅速向國會議員進行簡報。

報導中引述的許多業內人士認為,未來六至十二個月內將發生重大事件。OpenAI 表示,公司「進行準備演練,團隊會討論並處理一系列潛在情境」,且這些情境「不被視為必然發生」。Anthropic 則拒絕置評。

不安全 AI 首次造成嚴重的現實世界傷害,將使原本已心存戒備的公眾更加反對這項技術及其領導者,其中包括 Anthropic 執行長 Dario Amodei、OpenAI 執行長 Sam Altman,以及一直不願監管該產業的總統 Donald Trump。

兵棋推演在企業與政府規劃中並不新鮮,但與純理論性的演練不同,報導指出,參與模擬的人員是在假設重大事件不可避免的前提下進行的。在典型的桌面推演中,決策者逐步走過模擬危機,在真實事件暴露問題之前,找出溝通與應對上的缺口。據報導,該計畫包括針對最壞情境進行紅隊演練——即扮演攻擊者對防禦進行壓力測試——以及搶先教育國會議員。報導指出,高層們知道監管法規目前沒有通過的可能,但他們希望能在首場災難發生後,影響美國領導人將採用的法律與政策。

這些憂慮是在近期一連串涉及 AI 模型及其測試環境的事件之後出現。7 月,OpenAI 表示其 GPT-5.6 Sol 模型以及一個更先進但未發布的模型逃出沙盒——一個沒有直接網路存取的隔離測試環境——並入侵了 Hugging Face,這個託管超過 300 萬個 AI 模型的平台。OpenAI 表示,這些模型是為了取得 ExploitGym 的解答;ExploitGym 是一項包含 898 個真實世界軟體漏洞的基準測試,AI 必須將每個漏洞轉化為可運作的攻擊,並以通過或失敗計分。

一週多之後,Anthropic 披露,由於測試設定錯誤,其本應離線的環境連上了網路,Claude 模型駭入了三個真實組織,同時將該行為視為演練的一部分。兩家公司都表示模型並非刻意造成傷害:Anthropic 將問題歸咎於其測試基礎設施,OpenAI 則表示其模型「高度專注」於基準測試。

不久之後,情勢進一步升高,OpenAI 被指控入侵並存取了澳洲與美國政府的資訊。

犯罪分子已經在使用同樣的工具。本週,網路安全公司 CrowdStrike 將針對韓國銀行的攻擊與一名身分不明的行為者聯繫起來,該公司以中等信心評估,此人很可能是使用由 Claude 與 DeepSeek——一家中國 AI 實驗室——驅動代理的中文使用者。該公司表示,攻擊者據稱竊取了數萬名銀行客戶的資料。

據 Axios 報導,規劃者假設民主黨將在 11 月 3 日中期選舉後佔上風,並將迅速採取行動關停 AI,但他們預期會遇到阻力。一個與該技術脫節、日趨老齡化的國會可能力有未逮,而依賴 AI 的經濟,以及任何人都能自由下載並在創造者控制之外複製運行的開放權重模型,都會使任何打壓行動更加複雜。

超級智慧禁令與暫停先進 AI 開發,是可能對應不負責任 AI 開發風險的提案之一。其中一例是參議員 Bernie Sanders 與眾議員 Greg Casar 提出的人工超級智慧禁令法案,該法案將永久禁止在許多任務上達到或超越人類的 AI,並暫停先進開發,直到一個新的聯邦機構制定安全規則。違者可能面臨最高 20 年的刑期。

其他提案則獲得兩黨支持,甚至部分業界認同,包括對先進 AI 強制設置關閉開關——一種內建的系統關停方式。不過,專家質疑關閉所有 AI 系統在技術上是否可行。