本周，OpenAI告知员工，公司将考虑放缓人工智能最先进领域的开发工作。首席执行官萨姆·奥尔特曼将这一提议扩展至包括Anthropic在内的竞争对手实验室。Anthropic此前披露，关联国家机构的研究人员曾试图利用其Claude模型开展生物武器研究，并单独承认AI风险正在上升。

OpenAI表示，出于安全考虑，公司已经暂停部分内部训练运行，并放缓了部分模型开发。接连出现的披露进一步加剧了外界对AI行业发展是否过快的争论，尤其是在两家公司持续释放可能进行公开发行信号之际。

奥尔特曼为何希望放缓AI开发？

在一次全员会议上，奥尔特曼告诉OpenAI员工，公司及其他愿意参与的实验室可以放缓前沿模型的发布。根据彭博社援引的消息人士说法，他承认这一安排将是自愿的，并非所有公司都会同意参与。这种自愿方式与OpenAI后来要求制定以能力为基础的强制性规则形成对比，也使竞争性实验室之间的协调，以及政府要求的适用范围，成为这场争论的核心问题。

对于自愿暂停措施的怀疑并非没有先例。2023年3月，埃隆·马斯克、史蒂夫·沃兹尼亚克及其他1,000多人签署公开信，呼吁暂停先进AI工作六个月。当时的媒体报道称，参与实验室最终并未执行它们共同提出的暂停计划。相关公开信可通过Axios查看。

OpenAI首席科学家雅各布·帕乔茨基在9月6日的一篇帖子中也发出类似呼吁，要求AI公司协调，“在需要时放缓未来开发”。帕乔茨基表示，他希望自愿放缓能够“在共同的安全标准建立之前成为普遍做法”。

奥尔特曼在7月表示，他已经向白宫官员说明放缓AI开发的必要性。他与Anthropic首席执行官达里奥·阿莫代伊此前还签署过一份只有一句话的声明，称AI构成社会尺度的灭绝风险。该声明发表于AIstatement.com。

AI模型能否支持生物武器研究？

AI模型的发展已经达到可能支持生物武器研究的程度。本周早些时候，OpenAI表示其模型已经解决了Navier-Stokes数学问题，但这一说法是在存在争议的条件下提出的。

Anthropic在9月10日发布的一份154页威胁情报报告中进一步推动了这场争论。报告描述了五起研究人员试图利用Claude的能力支持生物武器工作的案例。Anthropic表示，这些尝试来自“未受支持地区”，涉及规避地点限制并掩盖相关活动的目的。公司称已删除涉事账户，但没有公布相关国家或机构的名称。该报告有关生物滥用的章节可在Anthropic网站查看。

AI研究人员的担忧日益加剧

这些报告发布之际，主要AI实验室内部人士及前员工接连公开发出警告。9月8日，研究人员雅各布·考克森辞职，并指责OpenAI和Anthropic“拿我们的生命赌博”。他说，一些同事认为这项技术可能“在本十年结束前杀死我们所有人”，并警告人类可能在2030年灭绝。他的帖子获得了超过1.5亿次浏览。

9月10日，Anthropic和Google旗下DeepMind的前员工表达了类似担忧，并呼吁提高透明度。一份于7月底发起、旨在建立AI开发放缓机制的请愿书，获得了主要AI公司1,000多名员工的签名。

OpenAI目前正敦促国会通过强制性的、以能力为基础的安全规则，涵盖测试、独立评估、网络安全和事件报告。全球事务首席官克里斯·莱汉写道：“AI加速AI开发的前景，需要的不只是自愿承诺。”这些提案将重点放在先进系统应如何接受测试和监控，而不仅仅是公司是否同意暂停开发。

加州率先采取行动。州长加文·纽森周三签署了SB 813和AB 1405；配套法案AB 1864旨在防范由AI促成的生物威胁。

在华盛顿，参议员伯尼·桑德斯提出一项暂停先进AI开发并禁止人工超级智能的法案。他对BBC表示，无视科学家警告的人会成为“一个白痴”。

美国总统唐纳德·特朗普反对这一做法，并于周四表示，他担心“如果我们不能赢得AI，我们将陷入非常糟糕的境地”。

最初由Cryptopolitan发布。