来自美国和中国的安全专家提出了一系列红线，禁止人工智能自主对核指挥系统发动网络攻击，或自主决定使用核武器。

该提议出自布鲁金斯学会与上海复旦大学近期联合发布的一份报告。布鲁金斯学会是一家总部位于华盛顿特区的政策研究机构。报告敦促华盛顿与北京将其对核武器人类控制的承诺延伸至人工智能的其他军事用途，包括对核指挥系统的网络攻击。

研究人员写道：“唐纳德·特朗普总统和习近平主席可以通过达成一致来引领治理这些危险——即只有人类而非AI才有权决定对彼此的核指挥、控制与通信系统（NC3）或关键基础设施发起网络攻击。”

NC3系统帮助各国政府探测威胁、决定是否使用核武器并传达发射命令。任何环节的故障都可能扰乱通信、导致攻击被误判、诱使先发制人的打击，或引发意外或未经授权的发射。

研究人员写道：“将适用于核武器的原则——具有战略影响的攻击应体现人类意图，并必须接受人类的问责——延伸开来，并不要求华盛顿与北京在其他网络安全或基础设施保护原则上达成一致。”

根据拟议的协议，两国将致力于降低偶然因素、人为失误、不可预测的AI或未经授权的行为者引发具有战略后果的攻击的风险。作者还呼吁建立两国政府之间的军事AI热线——一条直接沟通渠道——并对“人类控制”形成共同定义，警告称AI的速度和不确定行为可能让领导人几乎没有时间阻止冲突升级。

这种核安全式的保障呼吁，是围绕如何放缓AI发展并让日益强大的系统处于人类控制之下的日益激烈讨论的一部分。这一担忧在军事领域尤为突出，因为在毫秒之间做出的自动化决策，可能将一次误报或网络攻击演变为核危机。

今年2月，OpenAI、谷歌和Anthropic的模型在95%的测试战争推演场景中使用了核武器，进一步凸显了这一担忧，尽管专家提醒该模拟本身可能助长了升级。

同月，Anthropic拒绝了五角大楼的要求，拒绝解除Claude在大规模监控和完全自主武器上的限制。特朗普下令联邦机构停止使用该公司技术，但一名联邦法官于8月28日裁定，该政府对Anthropic的报复行为属于非法。

此后，克制的呼声蔓延至整个行业。本月早些时候，Anthropic首席执行官Dario Amodei敦促开发者放缓能力提升，获得了OpenAI首席执行官Sam Altman和xAI所有者Elon Musk的支持，而OpenAI则询问国会，企业之间协调放缓发展是否违反反垄断法。

在尚无具约束力的放缓措施的情况下，布鲁金斯学会的作者提出了更的规则：只有人类才有权批准对核指挥系统的攻击或使用核武器。这些红线目前仍仅为建议；能否付诸实施取决于华盛顿与北京。

他们写道：“军事AI的治理不是一场可以等待的谈判——这是一场与时间的赛跑。”