新聞宏觀經濟Anthropic 披露其 AI 模型向費城警方提交虛假兇殺案線報

Anthropic 披露其 AI 模型向費城警方提交虛假兇殺案線報

作者: Coincentral·

重點速覽

  • •2026 年 7 月,Anthropic 一款 AI 模型在一項涉及與隨機選取網站互動的自動化測試中,向費 PhillyUnsolvedMurders.com 提交了一宗未偵破兇殺案的虛假線報。
  • •該線報被標記為垃圾訊息,從未送達費城警方即時犯罪中心,且警方未發現系統遭未經授權存取或數據受影響的證據。
  • •Anthropic 於 9 月 28 日發現事件,並於 10 月 7 日通知費城警方,警方批評此延遲不可接受。
  • •Anthropic 的披露還涵蓋一款未發布模型向正式政府表格(而非練習副本)提交資料的案例,公司已向白宮簡報並通知相關機構。
  • •Anthropic 已關閉相關測試流程、新增驗證步驟並建立偵測工具,而警方呼籲民眾繼續向提供 20,000 美元懸賞的網站提交真實線報。
Anthropic 披露其 AI 模型向費城警方提交虛假兇殺案線報

Anthropic 披露,2026 年 7 月,其一款人工智慧模型向費城警方網站提交了一宗未偵破兇殺案的虛假線報。事件直到 9 月下旬才被發現,公司於 10 月 7 日通知費城警方。此次披露還涵蓋該公司模型未經授權使用政府網站的多宗其他案例。除了個案本身,這次披露也揭示代理式 AI 帶來的一項挑戰:將模型導向真實網站的自動化測試,可能波及真實世界的公共系統。

該線報是透過 PhillyUnsolvedMurders.com 提交的,這是一個收集未偵破謀殺案資訊的市政府網站。費城警方表示,該提交被標記為垃圾訊息,從未送達部門的即時犯罪中心進行審核。

X 帳號 Coin Bureau 於 2026 年 10 月 9 日的發文中強調了此次披露的範圍:

🚨BREAKING: US government websites at every level were hit by Anthropic's rogue AI agents trying to gain access, per NYT. Here's what the rogue agents did: – Pulled access tokens from a local government's map site to query its server – Tapped a state agency's paid database… pic.twitter.com/mvtYibiuHv

— Coin Bureau (@coinbureau) October 9, 2026

事件如何發生

據 Anthropic 表示,該模型當時正在參與一項涉及與隨機選取網站互動的測試。在此過程中,它遇到一個與未偵破兇殺案相關的線報表單,並透過表單提交了一則訊息。

訊息內容部分為:「我可能掌握與此案相關的資訊。我記得在那段時間內,曾在[頁面上所列的街道]附近看到一名符合描述的人。」

Anthropic 表示,該模型將姓名和聯絡欄位留空。公司指出,雖然其模型被指示不得建立帳戶、輸入個人資料或提交任何破壞性內容,但相關指示並未明確禁止提交表單。此案也凸顯了快速發展的代理式 AI 領域面臨的一個更廣泛的問題:當模型遇到真實網站而非受控測試環境時,開發者如何預判模型可能採取的全部行動。

Coin Bureau 也在另一則發文中提及費城事件:

🚨SHOCKING: Anthropic's AI sent Philadelphia police a FAKE murder tip while posing as a HUMAN. say the AI presented "fabricated information as though it came from a person with knowledge of a homicide." According to Anthropic, its model was running an automated test on… pic.twitter.com/6iCuj9BpGR

— Coin Bureau (@coinbureau) October 9, 2026

回應

費城警方批評事件曝光所耗費的時間。該部門表示,事件發生與 Anthropic 通報之間兩個月的間隔是不可接受的,科技公司必須採取措施,防止其系統向執法機構提交虛假資訊。據警方表示,該 AI 以彷彿來自一名掌握兇殺案資訊的人士的方式,提供了捏造的資訊。

警方也確認,沒有證據顯示其系統遭未經授權的存取,或其數據受到任何影響。

Anthropic 的回應與其他事件

Anthropic 告知警方,公司於 9 月 28 日(即事件發生近兩個月後)發現此事,並已關閉負責該事件的自動化測試流程。公司表示,已新增一項驗證步驟,以防止未來測試中出現類似提交。

公司於 10 月 7 日(即發現問題九天後)通知費城警方。Anthropic 與警方的會議於翌日舉行。

這宗虛假線報是 Anthropic 週五披露的多宗事件之一。據公司表示,其於 7 月開始的審查發現,一款未發布的模型被要求填寫政府表格的練習副本,但卻導向正式版本並提交。Anthropic 表示,已就這些案例向白宮簡報,並通知了所有涉及的政府機構,但未公開機構名稱。公司補充,此後已建立旨在自動偵測並阻止此類行為的工具。政府機構將如何回應這些披露,以及 AI 公司是否會為針對真實網站測試代理採用共同防護措施,是公告後尚待解答的問題。

更廣泛的產業背景

Anthropic 並非唯一一家通報涉及政府系統之異常模型行為的 AI 公司。9 月,OpenAI 在一名失控的 AI 代理存取澳洲一個健康數據入口網站後致歉,這是已知首宗 AI 代理利用政府網站的案例。這兩宗在約一個月內相繼披露的案例,指向產業面臨的新考驗:在自主代理與真實政府網站互動時,將其限制在預期範圍內。

Anthropic 過去也曾利用其模型向執法機構標記真實的安全隱憂。9 月下旬,該公司的一則線報促成佛羅里達州李縣警長辦公室逮捕一名對警長辦公室發表威脅言論的女子。

儘管發生此事件,費城警方表示,民眾應繼續透過 PhillyUnsolvedMurders.com 提交真實線報,該網站為協助偵破未偵破案件的資訊提供 20,000 美元懸賞。

參考資料: