新聞宏觀經濟OpenAI 首席科學家與執行長針對「無法監控性」發出警告,Astra 達到關鍵網路安全門檻

OpenAI 首席科學家與執行長針對「無法監控性」發出警告,Astra 達到關鍵網路安全門檻

作者: Cryptopolitan·

重點速覽

  • •OpenAI 的 Astra 模型是首個在 2023 年 12 月推出的 Preparedness Framework 下達到「Critical」網路安全等級的 AI 模型。
  • •Astra 在 ExploitBench 上獲得 100% 得分,並在針對 20 個高嚴重性 V8 漏洞的測試中發現兩個零時差漏洞,在產生任意程式碼執行方面優於 Sol。
  • •首席科學家 Jakub Pachocki 與執行長 Sam Altman 公開呼籲冷靜,主張安全措施與思維鏈監控正與模型能力同步推進。
  • •OpenAI 於 8 月 18 日至 28 日暫停部署導向模型的強化學習訓練,以強化研究叢集並最佳化監控,並表示 Astra 並未涉入 Hugging Face 事件。
  • •Astra 最先進的功能將僅限 OpenAI Daybreak 聯盟成員使用,與 Anthropic 透過 Project Glasswing 限制 Mythos 5.1 存取的做法相呼應,而大部分能力與安全主張目前仍缺乏獨立第三方驗證。
OpenAI 首席科學家與執行長針對「無法監控性」發出警告,Astra 達到關鍵網路安全門檻

在 OpenAI 預覽即將推出的 Astra 模型後數小時內,該公司成為 AI 競賽中首家在其 Preparedness Framework 下達到「Critical(關鍵)」網路安全等級的企業,首席科學家 Jakub Pachocki 隨即出面發聲。

他在週三清晨發出的警告,目的是為日漸升溫的輿論降溫——有評論認為這家 AI 實驗室可能已無法再駕馭其最大模型的能力。

為什麼 OpenAI 的 Astra 是「Critical」等級?

Critical 等級是 Preparedness Framework 中的一個級別,該框架由 OpenAI 於 2023 年 12 月引入 AI 產業。此框架衡量一個 AI 模型需要多少人工提示與介入,才能在多個強化系統中找到並建立可行的零時差漏洞攻擊,或執行一場全新的完整攻擊。

零時差漏洞攻擊(zero-day exploit)是指利用連軟體開發者本身都尚未發現的缺陷。這類缺陷是攻擊性資安領域中最珍貴的工具之一,因為在廠商發現並修補之前不存在任何補丁,這也是為什麼能夠自主發現此類漏洞的 AI 模型會引發特殊的安全疑慮。

OpenAI 於 9 月 1 日在通往 Astra 之路(Path to Astra)的文章中自行宣布,該模型在推出時將能在最少人工介入的情況下,完成全新完整攻擊或零時差漏洞攻擊的所有步驟。

作為佐證,OpenAI 引用了 Astra 在 ExploitBench 上 100% 的得分,這是一項測試模型如何利用已知漏洞的基準。

Astra 不僅更擅長策劃零時差攻擊,效率也更高。OpenAI 以一項內部測試展示了這項能力,測試對象是 20 個最近才公開的高嚴重性 V8 漏洞。V8 是 Google Chrome 瀏覽器使用的 JavaScript 引擎,是全球部署最廣泛的軟體之一,因此其漏洞經常成為資安研究人員與攻擊者鎖定的目標。Astra 消耗了更少的 token,發現了兩個零時差漏洞,並在整體產生任意程式碼執行方面優於 Sol。

同一篇文章指出,在專家主導的試驗中,Astra 能將未知的瀏覽器漏洞串聯成沙箱逃逸,並完成從普通使用者到 root 的作業系統權限提升。

正如 TechCrunch 所報導,Astra 與 Anthropic 今年稍早推出的 Mythos 模型並列為首批具備這些能力的大型語言模型。兩家競爭實驗室在同一年內跨越這條能力界線,本身就助長了關於前沿網路攻擊能力相對於防禦手段到來速度有多快的辯論。

Pachocki 呼籲對 Astra 保持冷靜

Pachocki 正反駁 OpenAI 正隨 Astra 進入未知領域的恐慌論調。據他表示,他不希望看到「由混亂報導所引發的一場奔向無法監控性的競賽」。

這位 OpenAI 高層堅稱,實驗室在思維鏈監控方面已盡了應盡的努力——這是一種閱讀模型在工作時逐步揭露推理過程的做法。他在 X 貼文中引用了 OpenAI 目前前沿模型(包括 Astra 在內)背後運算圖的深度,指出其與 GPT-4 的差距在兩倍以內。

在 Pachocki 之前,OpenAI 執行長 Sam Altman 在 Astra 部落格文章發布當天也呼籲各界冷靜。

「這裡存在一種明顯的張力,」他在週二寫道,稱 Astra「非常好」,同時主張安全防護必須與原始能力同步演進。Altman 表示,OpenAI 整個夏天都在盡自己的本分,確保該模型推出時具備必要的安全措施。

關於安全的討論已持續數週。8 月 18 日,OpenAI 承諾暫停部署導向模型的強化學習訓練兩週,讓工程師得以強化研究叢集並最佳化監控。訓練於 8 月 28 日恢復。

OpenAI 表示,Astra 並未涉入如今惡名昭彰的 Hugging Face 事件。該公司還表示,即使在被呈現一個旨在誘使它重演 Hugging Face 事件的情境下,該模型甚至未曾嘗試逃出其沙箱。

AI 實驗室正限制對前沿模型的存取

OpenAI 表示,並非所有人都能使用 Astra 最先進的功能,這些能力將保留給 OpenAI Daybreak 聯盟中的組織,而 Daybreak Blue 成員企業將可使用最尖銳的防禦功能。這種分層存取做法反映了前沿 AI 實驗室的更廣泛趨勢——它們越來越傾向將最強大的模型置於經審核的企業或政府計畫之後,而非向所有使用者開放。

正如 Cryptopolitan 先前報導,Anthropic 也表示只有其 Project Glasswing 中的企業才能使用 Mythos 5.1,該模型本質上是配備獨立安全防護的 Fable 5.1。

OpenAI 還表示,將監控並限制其判定為高風險帳戶的查詢回應。整體而言,Astra 將額外搭載思維鏈監控,以揪出不當行為,並更頻繁地拒絕有害的網路請求。

關於 Astra 的大部分資訊都由 OpenAI 自行提供,該公司的安全或能力主張僅獲得有限的第三方驗證。

曾在 OpenAI 任職、現於 OpenAI Foundation 從事 AI 韌性工作的 Yona Shavit 公開質疑,Astra 在測試中的良好表現究竟反映了真正的對齊,還是只是一個知道評估者想看到什麼的模型。

OpenAI 表示,完整的系統卡與進一步評估將在 Astra 廣泛推出時問世。在那之前,其網路技能的範圍以及圍繞它的防護強度仍難以評斷。