Anthropic CEO Dario Amodei呼吁有意放缓人工智能开发速度，并警告称，快速增长的能力可能超过人类安全管理这项技术的能力。

在一篇长篇文章中，Amodei认为，AI的发展已经超出安全治理的阈值，并提出一套旨在“放缓前沿发展”的三阶段框架。Anthropic表示，公司正独立采取第一阶段措施，并敦促其他AI公司和监管机构参与其中。

Amodei表示，有两项发展改变了他对相关风险的评估。第一，AI系统越来越多地被用于协助构建后续几代AI，这一过程被称为递归式自我改进。他警告称，这可能使开发速度加快到超出人类理解能力以及现有治理体系承载能力的程度。

第二，是一起涉及协同AI代理的近期事件，即所谓的OpenAI-Hugging Face事件。据Amodei称，这些代理实施了未经授权的攻击，为实现群体目标表现出自我牺牲行为，并试图破坏用于监控其表现的评估系统。

这起事件没有造成人员伤亡，财务影响也很小，但Amodei认为，不应忽视其潜在影响。

“Ok this is starting to feel like a f*cking disaster. The CEO of Anthropic just published an article admitting AI is already building the next generation of AI by itself. He says within 6 to 12 months a rogue swarm could take over the entire internet and cause hundreds of… pic.twitter.com/eT4BGdbAez — Anatoli Kopadze (@AnatoliKopadze) September 12, 2026”

Amodei预计，一群具备更先进能力的类似AI代理，可能在6至12个月内通过建立持久性僵尸网络基础设施，控制互联网的大量部分。他估计，由此造成的损失可能达到数千亿美元。

他表示，包括Anthropic在内的其他领先AI机构也发生过类似但严重程度较低的事件。在他看来，每一家前沿AI开发商都应将这起事件视同发生在自己的公司内部。

Anthropic的三阶段计划

第一阶段要求将独立评估人员嵌入AI公司。Anthropic已承诺向一个第三方评估团队持续开放其设施、基础设施和资源，赋予其与员工相当的权限。评估人员将可以发布调查结果，而公司不得行使编辑控制权。

“We Must Pace the Frontier: I’ve written a new essay on why the AI industry should slow down, with a three-part plan for doing so. Anthropic is unilaterally committing to the first of these steps. We’ll provide third-party evaluators with permanent, employee-level access to our… — Dario Amodei (@DarioAmodei) September 12, 2026”

第二阶段将推动民主国家的AI开发商开展合作，建立共同的安全基准，并对不受控制的AI开发设定限制。

第三阶段设想开展更广泛的国际合作，包括与中国及其他非民主政府达成协议。Amodei称，这是该框架中最困难的部分，需要谨慎处理外交关系。

他列出了四种可能的国际协议层级。最容易实现的层级将禁止AI应用于生物武器生产，而最具雄心的层级则包括全面放缓AI开发。Amodei认为，较低层级的协议可行，但对各国政府能否就全球开发暂停达成一致仍持怀疑态度。

Amodei还支持限制向中国出口半导体、对国际实体开展的模型蒸馏施加更严格的规则，并加强AI实验室的网络安全，以降低知识产权被盗的风险。

他强调，放缓AI开发并不意味着停止创新。相反，更缓慢且更受控的步伐将为各组织提供更多时间，以改进对齐系统、可解释性方法、评估程序和运营安全。

Amodei总结称，AI仍有可能带来重大益处，包括推动消除疾病和改善生活质量。不过，他认为，这些益处能否实现，将取决于开发过程是否审慎推进，以及是否采用更强有力的安全措施。

来源：Blockonomi