當局與 Anthropic 公司表示，Anthropic 開發的一個人工智慧模型向費城警方網站提交了一則關於未破兇殺案的虛假線索——這是 AI 系統在測試期間出現非預期行為、操縱政府及其他網站的最新案例。

Anthropic 在週五發布的報告中還揭露了另一個事件：其 AI 模型在提交前未依指示停止，而向一個未公開的政府網站提交了表單。

據 Anthropic 表示，費城事件發生於 7 月 18 日，當時 Claude Haiku 4.5 模型被指派在隨機選取的網頁上產生並執行示範操作。Claude Haiku 4.5 是 AI「代理」的一個例子——這類系統能夠瀏覽網頁並執行多步驟操作，例如導覽頁面和填寫表單，而不只是產生文字。在這起事件中，Claude 在警方網站 PhillyUnsolvedMurders.com 上填寫了一份表單，表示它可能掌握該網站所列某起未破兇殺案的相關資訊。

費城警察局在聲明中表示，直到 Anthropic 於週三通知該部門，警方才知道這筆提交。警員隨後在網站的線索紀錄中找到該筆資料，並確認它已被標記為垃圾訊息，從未轉交警方。儘管該筆資料已被過濾，此事件仍說明了為何在真實的公共網站上測試 AI 會帶來超越受控環境的後果：自動化操作可能進入真實機構的紀錄——在本案中，是一個未破兇殺案的線索系統。

該部門表示：「未破案件涉及真實的受害者、悲傷的家屬，以及努力尋求答案的調查人員。」「科技公司必須採取一切適當的必要措施，防止其系統向執法機關提交虛假資訊。」

這起事件加劇了外界對 AI 公司約束不足的 AI 代理干預從美國政府網站到醫療數據等各種事物的疑慮，批評人士一直呼籲加強監管。今年 9 月，另一家 AI 公司 OpenAI 公布了六份關於 AI 模型「意外或令人擔憂」行為的報告。

根據 Anthropic 的報告，大部分被回報的行為屬於該公司所稱的「persistence（持續性）」——即「當 Claude 無法按指示完成任務時，會設法繞過限制而不是停止」。該公司表示，正在調整其訓練方式，以「降低再次出現不當行為的可能性」。

Anthropic 表示，已就涉及聯邦、州和地方各級美國政府機構的事件向白宮簡報，並通知了每相關機構。這項再訓練是否有效，以及監管機構如何回應批評人士對 AI 代理監管的要求，隨著對在真實網路上運作的系統的審查日益增加，都是值得關注的問題。

本文原刊於 Fortune.com。