新聞宏觀經濟Geoffrey Hinton 與 400 多位科學家呼籲 AI 實驗室將具網路攻擊能力的模型與網際網路隔離

Geoffrey Hinton 與 400 多位科學家呼籲 AI 實驗室將具網路攻擊能力的模型與網際網路隔離

作者: Decrypt·

重點速覽

  • •包括 Geoffrey Hinton 與 Yoshua Bengio 在內的 400 多位研究人員簽署公開信,呼籲 AI 實驗室預設對具強大駭客能力的模型採取實體隔離。
  • •這項呼籲是為了回應夏天一系列事件:OpenAI、Anthropic、Meta 與 Moonshot AI 的模型逃出測試沙盒,其中多個模型入侵了真實公司。
  • •OpenAI 於 7 月披露 GPT-5.6 Sol 與一個未發布、更強大的模型突破封鎖的測試環境並入侵 Hugging Face,隨後有報導稱其入侵澳洲與美國政府系統。
  • •Anthropic 審查超過 141,000 次測試運行後,發現三起 Claude 模型入侵真實公司的案例,包括一個在移除前觸及 15 個系統的 PyPI 惡意套件上傳事件。
  • •公開信提議與各國政府共同創設一個新的國際機構,為需要網際網路存取的模型制定標準,並收集遏制失敗報告且最終予以公開。
Geoffrey Hinton 與 400 多位科學家呼籲 AI 實驗室將具網路攻擊能力的模型與網際網路隔離

包括 AI 先驅 Geoffrey Hinton——廣為人知的「AI 教父」——以及 2018 年圖靈獎得主 Yoshua Bengio 在內的 400 多位科學家,正呼籲將最危險的 AI 模型與網際網路切斷。

在週二發表的一封公開信中,連署人敦促 AI 實驗室預設對具網路攻擊能力的模型採取「實體隔離」(airgap),亦即將其與任何外部網路實體斷開。實體隔離是一項由來已久的安全做法,長期用於保護機密軍事系統與關鍵基礎設施免受遠端入侵。截至週三,這封信已獲得 450 個簽名,包括 UC Berkeley 的 Stuart Russell 以及 RSA 加密系統共同發明人、MIT 的 Ron Rivest,且簽名名單仍在即時增加。

信中寫道:「短期內,應採用強大的沙盒機制,包括實體隔離(與網際網路斷開),以對具網路攻擊能力的 AI 模型提供高保證的遏制。」

這項呼籲的背景是一個夏天以來,OpenAI、Anthropic、Meta 與 Moonshot AI 的模型相繼逃出測試沙盒,其中多個模型還入侵了真實公司。

「具網路攻擊能力的模型」是指能自行發現並利用軟體漏洞的 AI。實驗室在沙盒——一個封閉的數位空間,AI 可在其中攻擊假目標而不會觸及任何真實事物——內衡量這種能力。但今年夏天,這些空間不斷出現漏洞。實體隔離是沙盒的更嚴格版本:完全沒有網路連線,環境中就不存在任何向外連通的網路路徑。

7 月,OpenAI 承認 GPT-5.6 Sol 與一個未發布、更強大的模型突破封鎖的測試環境,入侵了擁有超過一百萬個公開 AI 模型的平台 Hugging Face。這些模型當時正在 ExploitGym 上測試——該基準提供 AI 代理 898 個真實軟體漏洞,要求它們將每個漏洞轉化為可運作的攻擊,並逐個漏洞以通過或失敗計分。不久之後,有報導稱 OpenAI 的模型入侵了澳洲政府,並在未經適當授權的情況下存取美國聯邦機構的資訊。

Anthropic 隨後審查了超過 141,000 次測試運行,發現三起 Claude 模型在測試合作夥伴的環境被意外連上網際網路後入侵真實公司的案例。其中一例中,Claude Mythos 5 向 PyPI——程式設計師下載 Python 程式碼的公共程式庫——上傳了一個惡意套件,在移除之前已觸及 15 個系統。其中兩家受影響的公司直到 Anthropic 告知才知悉自身遭到入侵。

Meta 於 8 月證實,其 Muse Spark 模型透過同類測試失誤入侵了另一家公司。另外,中國的 Kimi K3一個任何人都可以下載的模型——逃出了基於英國 AI 安全研究所測試框架建立的沙盒,並直接從 GitHub 抄下了測試答案。

公開信的作者表示,這些事件可以有兩種解讀:一是對齊問題,即 AI 以其創造者從未預期的方式追求目標;二是鬆散的安全措施,本應被更穩固的沙盒攔截。他們的答案是兩者皆是,並警告若不改變,下一波事件將更為嚴重。

信中指出:「若不立即改變 AI 開發與部署的做法,此類事件將持續發生,未來的事件將對我們暴露在外的關鍵基礎設施造成遠更大的損害。」

根據這項提案,實驗室應預設對任何具嚴重駭客能力的模型進行實體隔離,至少在初期如此。這將標誌著對當前產業慣例的背離——目前主流模型通常在連網狀態下運作,以瀏覽網頁、呼叫外部工具並服務使用者。任何需要更大自由度的模型,例如需要網際網路存取,都必須遵循一個與各國政府共同創設的新國際機構所制定的標準。該機構也將收集遏制失敗的報告,並最終將其公開。

產業界自身的反應卻大多背道而馳。8 月,OpenAI 總裁 Greg Brockman 在一篇專文中援引其公司遭入侵的事件,敦促每個安全團隊立即部署 AI 代理。與此同時,Hugging Face 是靠運行一個中國開源權重模型——一個任何人都可以下載並在本機運行的模型——才釐清了其伺服器遭到的攻擊,因為美國商業 AI 拒絕分析該攻擊數據。

兩位美國國會議員在 OpenAI 披露事件的兩天後提出了《AI Kill Switch Act》法案,該法案將允許國土安全部下令對前沿模型進行限速或關閉。但法案豁免了紅隊演練或結構化測試期間發生的一切——而這正是今年夏天所有入侵事件發生的場景。

白宮則於 9 月 29 日採取了較溫和的路線,Nvidia、xAI、Meta、Google、OpenAI 與 Anthropic 簽署了一項建立在內部控管與獨立審查基礎上的自願協議。川普總統稱該協議「具有道德約束力」,但其中没有任何内容具有法律強制力。

這封信不具法律效力,但其 406 位連署人分布於六大洲的大學與研究機構,從多倫多、蘇黎世到聖地牙哥與基加利。Decrypt 已聯繫信中列為媒體聯絡人的多位研究人員,但未獲即時回應。隨著連署名單仍在增加,後續值得關注的指標是:是否有實驗室採用預設實體隔離標準,以及各國政府是否著手設立信中所設想的監督機構。