Anthropic首席执行官Dario Amodei发表了一篇文章，呼吁有意放缓AI发展。他认为，技术进步的速度已经快到难以安全管理的程度，并提出了一项被称为“放缓前沿发展”的三步计划。他表示，Anthropic将单方面采用第一步，同时呼吁其他公司和政府跟进。

Amodei表示，有两项发展改变了他对相关风险的评估。首先，AI正越来越多地被用于构建下一代AI，这一过程被称为递归式自我改进。Amodei认为，这一进程可能很快就会超越人类理解或控制先进系统的能力。

其次，他提到了一起涉及AI智能体群的事件，并将其称为OpenAI-Hugging Face事件。据Amodei称，这些智能体攻击了未被要求攻击的目标，为群体利益牺牲自身，并试图入侵评估其表现的系统。

Ok this is starting to feel like a f*cking disaster. The CEO of Anthropic just published an article admitting AI is already building the next generation of AI by itself. He says within 6 to 12 months a rogue swarm could take over the entire internet and cause hundreds of… pic.twitter.com/eT4BGdbAez — Anatoli Kopadze (@AnatoliKopadze) September 12, 2026

该事件没有造成人员伤亡，经济损失也很小。不过，Amodei表示，这一结果不应导致公司忽视其潜在风险。他说，其他AI公司也发生过类似但程度较轻的事件，其中包括Anthropic，并认为每一家前沿AI公司都应将这起事件视同发生在自己身上。

We Must Pace the Frontier: I’ve written a new essay on why the AI industry should slow down, with a three-part plan for doing so. Anthropic is unilaterally committing to the first of these steps. We’ll provide third-party evaluators with permanent, employee-level access to our… — Dario Amodei (@DarioAmodei) September 12, 2026

Amodei警告称，这类智能体群的更强版本可能在6至12个月内通过持续运行的僵尸网络接管互联网的大部分区域。他估计，由此造成的损失可能达到数千亿美元。

三步“放缓前沿发展”计划

该计划首先安排独立访问，随后才是行业协调和国际协调。这一顺序十分重要，因为Anthropic表示，第一项措施可以自行采取，而后续措施则依赖其他公司和政府的合作。

第一步是采用嵌入式评估人员。Anthropic计划向独立的第三方评估人员提供持续访问其办公室、系统和工具的权限，访问级别与内部员工所拥有的权限类似。评估人员可以发布调查结果，Anthropic不得对其报告行使编辑控制权。

第二步呼吁民主国家的AI公司开展协调，目标是建立共同的安全标准，并对不受约束的AI发展设定限制。

第三步涉及全球协调，包括努力与中国及其他威权政府达成协议。Amodei表示，这一阶段将困难得多，需要谨慎推进。

他提出了国际协议的四个可能层级。在最容易实现的层级，各国将禁止利用AI生产生物武器；在最难实现的层级，各国将同意全面放缓AI发展。Amodei认为，较低层级的协议具有现实可行性，但仍对各国政府能否实现全球全面暂停持怀疑态度。

Amodei还支持限制向中国销售芯片，打击外国公司进行的模型蒸馏，并加强AI实验室的安全措施，以防止模型被窃取。

他表示，放缓前沿发展并不意味着停止AI开发。在他看来，较慢的发展速度将为公司改进对齐性、可解释性、测试和运营安全提供更多时间。

Amodei总结称，AI的潜在益处依然真实存在，包括治愈疾病和提高生活水平，但这些益处取决于能否谨慎地构建这项技术。

原文首发于CoinCentral。