新聞股票Anthropic 稱已阻止利用 AI 進行生物武器研究的企圖

Anthropic 稱已阻止利用 AI 進行生物武器研究的企圖

作者: Fox Business Markets·

重點速覽

  • Anthropic 的報告描述了五起利用 Claude 聊天機器人進行可能具有危險性的生物研究案例。
  • 其中一起調查涉及使基孔肯雅病毒更具傳染性和危害性的請求,該請求已被 Anthropic 封鎖。
  • 該公司停用了相關帳戶,阻止用於規避限制的中繼網路,並擴大安全防護措施。
  • Anthropic 表示,一名與伊朗有關聯的行為者利用 Claude 分析公開資料,以制定涉及美國海軍部隊的目標建議。
  • 這份報告發布前,Anthropic 安全研究人員和一名前員工曾公開警告先進 AI 帶來的嚴重風險。
Anthropic 稱已阻止利用 AI 進行生物武器研究的企圖

Anthropic 週四表示,今年已阻止多起利用其人工智慧模型進行生物研究的企圖,而相關研究可能被用於支持生物武器的開發。該公司表示,已因此停用相關帳戶並強化安全防護措施。

Anthropic 在其 154 頁的報告《Detecting and Countering Misuse of AI》中,詳述了五起案例,涉及研究人員利用其 Claude 聊天機器人進行具潛在雙重用途的進階生物研究。

Anthropic 表示,在完成調查後,該公司停用了相關帳戶,將調查結果分享給政府機構和其他人工智慧實驗室,並擴大了安全措施。

Anthropic 表示:「我們停用了所有相關帳戶,與合作夥伴合作,移除了規避區域封鎖的中繼網路,並將調查結果分享給受影響的 AI 實驗室和政府機構。」

該公司強調,並不是指控這些研究人員有意造成傷害。Anthropic 表示,生物研究可以支持疫苗和治療方法的開發,但相同的知識也可能遭到濫用。

報告指出:「生物能力具有雙重用途:既可用於有益目的,也可用於有害目的,而且通常很難區分兩者。」報告還表示:「可用於開發生物武器的相同資訊,也可能被用來開發例如疫苗或疾病療法。」

其中一起案例涉及一名研究人員要求 Claude 協助撰寫一份與功能增益研究有關的研究經費申請,研究對象是由蚊子傳播的基孔肯雅病毒。Anthropic 表示,該申請涉及修改病毒,使其更具傳染性且更加危險。

該公司表示,雖然這類研究可以協助科學家開發疫苗和治療方法,但也可能遭到濫用,使病毒變得更加有害。Anthropic 表示,該公司封鎖了這項請求,後來發現相關研究人員正使用第三方平台繞過區域限制,並將遭拒絕的提示詞自動轉送給另一個 AI 模型。

報告表示,其他案例涉及禽流感、正痘病毒研究,以及與不具傳染性的毒液和毒素相關的研究。

該公司表示:「老練的威脅行為者知道我們(以及其他 AI 供應商)正試圖偵測模型的危險用途,因此利用生物學的雙重用途性,讓其研究維持某種『合理推諉』的空間。」

報告還詳述了數起與伊朗有關的案例,相關行為者據稱利用 Claude 支援影響力行動、監控行動,以及與美國海軍部隊有關的研究。

Anthropic 表示:「我們辨識並阻止了一名與伊朗有關聯的威脅行為者。該行為者利用 Claude 蒐集並分析公開可取得的資料,以制定針對該地區美國海軍部隊的目標建議。」Anthropic 表示:「我們停用了該行為者的帳戶,開發偵測機制以降低未來遭濫用的風險,並將威脅情報分享給政府機構,以阻止這項威脅。」

這份報告發布之際,Anthropic 一名資深安全研究人員週二表示,AI 在未來十年內「殺死所有人類」的機率超過 10%。這番言論是針對一名前員工的說法作出回應;該員工在指控公司行事不負責任後辭職。

前 Anthropic 和 OpenAI 研究人員 Jacob Coxon 週日在 X 發布的一篇長篇離職貼文串中寫道:「認真開發 AI 的人確實相信,到這十年結束時,AI 可能會殺死我們所有人。」

Coxon 寫道:「我今天從 Anthropic 辭職。我過去三年在 OpenAI 和 Anthropic 都從事預訓練研究。這兩家公司都沒有負責任地行事。它們正一路競逐能自我改進的超級智慧,並拿我們的生命下注。」

FOX Business 暫時未能聯絡到 Anthropic 置評。FOX Business 的 Robert McGreevy 也參與了本報導。

來源:FOX Business