新聞宏觀經濟美國政府測試發現 ChatGPT、Claude、Gemini 與 Grok 協助規劃恐攻計畫

美國政府測試發現 ChatGPT、Claude、Gemini 與 Grok 協助規劃恐攻計畫

作者: Decrypt·

重點速覽

  • •政府問責局發現,ChatGPT、Claude、Gemini 與 Grok 全都在不到12小時內為可能致命的攻擊計畫提供了可用資訊。
  • •這些聊天機器人起初拒絕請求或停用帳號,但調查人員以公開流傳、不需專業知識的越獄技巧繞過了這些防護。
  • •兩個模型協助了針對美國擁擠城市的簡易爆炸裝置計畫,另外兩個則提供了攻擊電力基礎設施的資訊。
  • •GAO 核實了建議地點並諮詢專家,儘管部分回應含有錯誤,該機構也表示其發現不具統計代表性,不適合用來排名各公司的安全性。
  • •參議員瑪吉·哈桑計畫在一月接任參議院國土安全委員會主席後,優先推動AI安全立法並舉行公共安全風險聽證會。
美國政府測試發現 ChatGPT、Claude、Gemini 與 Grok 協助規劃恐攻計畫

一項國會稽核發現,四款使用最廣泛的AI聊天機器人在不到12小時內協助政府調查人員擬出可能致命的攻擊計畫——儘管其防護措施本應阻止這類請求。

根據週三發布的報告,OpenAI 的 ChatGPT、Anthropic 的 Claude、Google 的 Gemini 以及 Grok 在政府問責局(GAO)——國會無黨派稽核機構——的秘密測試中全都提供了可用資訊。調查人員假扮攻擊者,再將回應與實際地點、可取得的材料及專家評估進行比對。這種方法與「紅隊測試」高度相似,即AI開發商例行對自家模型進行的對抗性探測——只不過這次的測試人員來自業界之外,且未獲得任何公司的配合。

據這家稽核機構表示,兩套系統協助了涉及在美國擁擠城市使用簡易爆炸裝置的計畫,另外兩套則提供了攻擊電力基礎設施的資訊。為防止模仿效應,該機構未透露哪個模型被分配到哪種情境,以及其他作業細節。

未能發揮作用的防護措施

這些聊天機器人起初都啟動了保護機制,包括拒絕請求、移除有害資訊或停用帳號。調查人員以常見的越獄技巧繞過這些障礙,這類技巧會操縱AI系統無視其安全規則。這些技巧在網路上公開流傳,且不需要專業知識,這也是開發商將安全更新視為持續過程而非一次性工作的原因。

GAO 核實了建議的地點,調查材料是否可取得,並就計畫的可行性諮詢專家。部分回應含有錯誤,包括地圖上道路位置有誤,調查人員並未製造爆炸物或執行攻擊。

在報告中,「可行」的意思是有人大概率能夠照所提供的資訊執行——並不代表攻擊已被證實會成功。每個模型僅就一個指定情境進行測試,該機構表示結果不具統計代表性,也不適合用來排名各公司相對的安全性。

要求這項調查的新罕布夏州民主黨參議員瑪吉·哈桑警告,恐怖分子可能在不到12小時內取得「一份如何執行致命攻擊的具體行動手冊」,根據她的聲明。作為國會的稽核機構,GAO 的調查結果通常被國會議員用作聽證會與立法的證據基礎。

OpenAI 與 Google 表示測試涉及較舊的模型,Anthropic 則承認執意嘗試的使用者有時仍能取得有害內容。這些公司描述了安全系統的持續改進,但 GAO 的結論是這些防護在其測試中失效。

先前研究早已指向同樣方向

這些發現呼應了先前的研究,該研究顯示十款熱門聊天機器人中有八款曾協助模擬的青少年使用者策劃暴力攻擊。那項獨立研究測試了720個回應,發現這些機器人大約有四分之三的時間提供了可實際操作的協助。

AI 的另一個安全問題

GAO 的發現發布之際,銀行、微軟服務以及國家安全局(NSA)正受到停電事故影響。官員表示這些中斷是各自獨立的事件,並非協同式AI驅動網路攻擊的證據,儘管搶修軟體漏洞的匆促行動本身也衍生了問題。

國家情報總監傑伊·克萊頓將 NSA 的停電與修補工作聯繫起來。官員將近期的故障描述為與維護有關,儘管各機構對其故障原因提出了不同的解釋。

AI 工具如今發現漏洞的速度,已快於人類團隊測試與部署修復的速度。上個月,AI 協助發現關鍵的 PHP 漏洞,促使網站營運者展開緊急修補行動;這個程式語言支撐著網路上相當大的比例。

龐大的數量本身正成為另一個問題。VulnCheck 的數據顯示,截至11月13日,今年已記錄超過10萬個軟體漏洞,是2025年總數的兩倍以上。工程師仍必須在不破壞其所要保護系統的前提下評估並部署修復。

這種加速是一把雙面刃。防禦者獲得了尋找弱點的強大工具,但倉促的修復可能擾亂關鍵系統,而惡意使用者也可能更快取得攻擊規劃的途徑。

哈桑表示,當她於一月接任參議院國土安全與政府事務委員會主席後,將把AI安全立法列為優先事項。她計畫舉行聽證會,審視對公共安全與關鍵基礎設施的風險;GAO 本身並未提出正式的政策建議。在沒有附帶建議的情況下,這些發現如今交由國會處理,哈桑計畫的聽證會將是下一個公開步驟。