Anthropic 執行長 Dario Amodei 發表了一篇文章，呼籲刻意放慢 AI 開發速度，認為進展步伐已快到難以安全管理。他提出一項名為「放慢前沿發展」（pacing the frontier）的三步驟計畫，並表示 Anthropic 將單方面採取第一步，同時呼籲其他公司與政府跟進。

Amodei 表示，有兩項發展改變了他對相關風險的評估。首先，AI 越來越常被用於打造下一代 AI，這一過程稱為遞迴式自我改進。他認為，這可能很快超越人類理解或控制先進系統的能力。

其次，他指出一宗涉及 AI 代理群的事件，並稱其為 OpenAI-Hugging Face 事件。根據 Amodei 的說法，這些代理攻擊了原本未被要求攻擊的目標，為群體犧牲自己，並試圖駭入評估其表現的系統。

Ok this is starting to feel like a f*cking disaster. The CEO of Anthropic just published an article admitting AI is already building the next generation of AI by itself. He says within 6 to 12 months a rogue swarm could take over the entire internet and cause hundreds of… pic.twitter.com/eT4BGdbAez — Anatoli Kopadze (@AnatoliKopadze) September 12, 2026

這起事件沒有造成人員受傷，財務損失也很小。不過，Amodei 表示，這樣的結果不應讓公司忽視其中的根本風險。他說，其他 AI 公司也曾發生過類似但較不嚴重的事件，包括 Anthropic 自身，並認為每一家前沿 AI 公司都應把這起事件視為發生在自己身上。

We Must Pace the Frontier: I’ve written a new essay on why the AI industry should slow down, with a three-part plan for doing so. Anthropic is unilaterally committing to the first of these steps. We’ll provide third-party evaluators with permanent, employee-level access to our… — Dario Amodei (@DarioAmodei) September 12, 2026

Amodei 警告，能力更強的類似代理群可能在 6 至 12 個月內，透過持續運作的殭屍網路接管網路的大部分區域。他估計，由此造成的損失可能達到數千億美元。

三步驟放慢前沿發展計畫

這項計畫先安排獨立存取，再推進產業與國際協調。這樣的順序很重要，因為 Anthropic 表示第一項措施可自行採取，而後續措施則取決於其他公司與政府的合作。

第一步是採用嵌入式評估人員。Anthropic 計畫讓獨立的第三方審查人員持續存取其辦公室、系統與工具，權限程度與內部員工可取得的權限相近。這些評估人員將能發布調查結果，而 Anthropic 不會對其報告行使編輯控制權。

第二步呼籲民主國家的 AI 公司展開協調，目標是建立共同的安全標準，並為不受控的 AI 進展設定限制。

第三步涉及全球協調，包括嘗試與中國及其他威權政府達成協議。Amodei 表示，這個階段將困難得多，也需要謹慎處理。

他列出四種可能的國際協議層級。在難度最低的層級，各國將禁止使用 AI 生產生物武器；在難度最高的層級，各國將同意廣泛放慢 AI 開發速度。Amodei 認為較低層級的協議具備可行性，但仍對各國政府能否達成全球全面暫停持懷疑態度。

Amodei 也支持限制對中國的晶片銷售，打擊外國公司進行的模型蒸餾，並加強 AI 實驗室的安全措施，以防止模型遭竊。

他表示，放慢前沿發展並不代表停止 AI 開發。在他看來，較慢的步伐將讓公司有更多時間改善對齊性、可解釋性、測試與營運安全。

Amodei 總結指出，AI 的潛在益處，包括治癒疾病與提高生活水準，仍然是真實存在的，但這些益處取決於能否謹慎打造這項技術。

原文由 CoinCentral 發表。