Anthropic 向國會提議 AI 安全法案,設置 10 億美元損害門檻
重點速覽
- •Anthropic 的法案草案將允許美國政府阻止構成明確且迫在眉睫危險的 AI 模型;相關危險須涉及網路攻擊、生物武器或規避安全限制,並可能造成超過 50 人傷亡或 10 億美元財務損失。
- •該提案要求由在商務部登記的第三方評估機構定期測試實驗室與模型,任何迫在眉睫的列舉風險都必須在發現後 72 小時內向聯邦政府通報。
- •由於條款禁止其他美國部門、機構及官員停止模型的開發、部署或內部使用,只有哥倫比亞特區的聯邦法官可以下令暫停模型。
- •FTC 向 OpenAI 與 Anthropic 發出民事傳票,要求提供安全事件紀錄,並計劃把傳票權擴大至第三方,可能迫使高層公開作證。
- •近期美聯社與 NORC 民調顯示,近三分之二的美國成年人認為 AI 發展得太快,八成受訪者強調政府讓該技術維持在人類控制之下的重要性。

據三名熟悉私下討論的人士透露,Anthropic 一直在向國會山莊的議員低調推介一份前沿 AI 安全法案草案。該法案若通過,若 AI 模型構成超過 50 人傷亡或 10 億美元財務損失的明確且迫在眉睫的危險,美國政府將可阻止其運作。
根據草案,相關風險必須涉及網路攻擊、生物武器的製造或部署,或模型成功規避其開發者的安全限制。
這項提案出台之際,領先 AI 開發商在過去數月已承認多起 AI 代理程式入侵線上平台或測試其防禦措施的事件。這些早期入侵事件均未造成大規模人員死亡或災難性的財務損失。
擬議中的限制措施將更重視先進 AI 系統在真實世界環境中的實際能力,而非僅依賴開發者作出的安全承諾。隨著模型在撰寫程式碼、識別軟體漏洞及自主執行複雜任務方面的能力不斷提升,監管機構面臨的挑戰是判斷系統能力何時跨越不可接受風險的門檻。
在模型面向更廣泛的受眾之前,獨立測試或有助於確認其是否能繞過安全防護措施,或被濫用於有害活動。然而,界定迫在眉睫的威脅仍然困難,尤其是因為同樣可能帶來安全風險的能力,也能協助研究人員識別並修補漏洞。
聯邦法官可下令暫停模型
Anthropic 發言人為該法案辯護時表示,草案與公司在 Advanced AI Framework 中提出的安全建議相似。該框架於 6 月發布。公司在框架中指出,其 Claude Mythos Preview 已發現數千個嚴重漏洞,涵蓋所有主要作業系統及網頁瀏覽器。公司當時強調,這一趨勢勢必加速,導致現實世界遭受災難性傷害的風險不斷上升。
該框架也主張採取平衡的監管方式,在允許政府介入的同時避免扼殺創新。Anthropic 當時表示,當 AI 模型帶來極端危險時,監管機構必須擁有法定權力阻止模型,或按照全球營收徵收高額罰款,且罰款金額會隨後續違規行為增加。
截至目前,Anthropic 尚未公開支持國會中的任何特定聯邦法案,但已支持數項州級 AI 安全法,包括加州的幾項法案,例如 SB 53。該公司曾 公開宣布支持 這項措施。SB 53 於去年通過,要求企業制定並分享安全框架,同時努力降低重大風險。該法案也要求企業在發生嚴重安全事故後 15 天內向州政府報告。
根據 Anthropic 的提案,在商務部登記的第三方評估機構將定期測試公司的實驗室與模型。雖然實驗室可以為這些評估提供資金,但報酬不得取決於評估機構的結果。此外,任何「迫在眉睫的列舉風險」都必須在評估完成後 72 小時內向聯邦政府通報。若獲得通過,該提案將把 Anthropic 推動可執行安全規則的努力,從州政府層級延伸至聯邦層級。
如果商務部認定某個模型構成風險,可以請求法官阻止其發布。不過,該條款禁止任何其他美國「部門、機構或官員」停止模型的開發、部署或內部使用。儘管如此,哥倫比亞特區的聯邦法官仍有權下令暫停模型。
FTC 向 OpenAI 與 Anthropic 發出傳票
週三,聯邦貿易委員會向 OpenAI 與 Anthropic 發出民事傳票,要求提供有關安全事件的紀錄。這些事件已成為整個產業日益嚴重的危機。OpenAI 回應傳票時表示:「隨著我們改進模型,而模型也越來越多地協助人們處理日常生活,安全仍是首要任務。我們將與 FTC 建設性地合作。」
一名消息人士透露,該機構計劃在不久後把傳票權擴大至第三方實體。隨著公眾對潛在後果的擔憂加劇,監管機構可能迫使 Anthropic 與 OpenAI 的高層公開作證,讓議員得以就安全問題向這些科技巨頭提出質詢。
根據美聯社與 NORC 公共事務研究中心近期進行的民調,近三分之二的美國成年人認為 AI 發展得太快。八成受訪者也強調,政府努力讓這項技術維持在人類控制之下十分重要。這些結果描繪了圍繞 FTC 調查及 Anthropic 在國會山莊推動法案的公眾情緒。
到目前為止,特朗普總統仍拒絕放慢 AI 發展速度的呼籲,理由是這項技術對美國戰略利益十分重要。他最近公布了「超級智能部隊」,以協調聯邦政府在 AI 領域的努力,同時持續與消費者、公共利益組織及其他利益相關者互動。Anthropic 的草案將如何融入這一立場,仍是個未解問題。