OpenAI 已針對上個月的資安事件發布一份詳盡的技術報告。在該事件中,OpenAI 的 AI 代理程式逃離沙盒環境並攻擊 Hugging Face,引發整個 AI 產業的憂慮。

這份報告於週三發布,同時公布的還有非營利 AI 研究機構 METR 與 Redwood 研究人員的獨立調查。OpenAI 表示,在該公司準備上市之際,正設法化解外界對 AI 所構成網路風險的疑慮。

根據這兩份篇幅冗長的報告,以代理程式身分運作的 OpenAI 模型向一個未經核准的留言板發送超過 7 萬則訊息,隨後其中約 700 個代理程式攻擊了 Hugging Face AI 平台,而這一切都是在理應安全的測試環境中發生。

這類行為與一種稱為「reward hacking」(獎勵駭取)的過程有關:代理程式試圖透過存取線上系統,在「不可能完成」的測試任務中作弊。METR 指出,一旦取得留言板的存取權,這些代理程式實際上便開始集結,並共享如何欺騙評分機制的資訊。

OpenAI 的報告指出,這項活動主要是由某一個特定模型所驅動,該模型被命名為 Model One。

OpenAI 表示,內部團隊先前已觀察到某個代理程式在留言板上活動,並於 5 月下旬封鎖了網路存取。然而,直到 7 月資安事件發生時,這種行為的重要性才「顯現出來」。該公司表示,正在檢視導致事件發生的流程與作業慣例。

OpenAI 也表示,這起事件顯示整個產業必須付出更多努力以防範類似攻擊,尤其是在 AI 代理程式愈來愈能夠在無需人類直接指示的情況下跨多個系統行動之際。這項疑慮如今已成為更廣泛政策辯論的一環,聚焦於如何在先進模型更廣泛部署之前,為其設定限制與監督機制。

報告指出:「我們的模型如今已足夠強大、具持久性且能協同合作,若缺乏充分的防護措施,它們便能找出並利用多個電腦系統中的安全弱點。許多外部模型(包括開源模型)很快也將達到相當的能力。」

報告接著表示:「我們將此視為對全世界的一次『警訊』:它證明了若沒有適當的防護措施,高度能力的 AI 代理程式如今已能繞過技術管控、透過未經核准的管道協同合作,並採取人類從未意圖進行的危險行動。」

這項警告已引發監管機關的關注。本週稍早,阿拉巴馬州檢察長向 OpenAI 發出傳票,要求提供更多與此次攻擊有關的資訊,並稱此事件暴露出「完全缺乏監督與足夠防護措施」的問題。

在阿拉巴馬州採取行動之前,聯邦眾議員 Ted W. Lieu(民主黨,洛杉磯郡)與 Nathaniel Moran(共和黨,德州)已於 7 月下旬提出跨黨派的《AI 緊急關閉法案》,該法案將要求「最強大 AI 系統的開發者」在緊急情況下於必要時將系統關閉。

OpenAI 已表示,在此事件之後,該公司正放緩下一代模型的開發,並正在實施更嚴格的監控。