來自美國與中國的安全專家提議制定一系列紅線，禁止人工智慧自主對核指揮系統發動網路攻擊，或自行決定使用核武器。

這項提議出自 布魯金斯學會 與上海復旦大學近期發布的一份報告。布魯金斯學會是一家位於華盛頓特區的政策研究機構；報告敦促華盛頓與北京，將對核武器的人類控制承諾延伸至其他軍事 AI 應用，包括對核指揮系統發動網路攻擊。

“Presidents Donald Trump and Xi Jinping can lead in governing these dangers by agreeing that only humans, not AI, should make the decision to initiate a cyberattack against each other’s nuclear command, control, and communications systems (NC3) or critical infrastructure,” the researchers wrote.

NC3 系統協助政府偵測威脅、決定是否使用核武器，以及傳送發射命令。任何環節出現故障，都可能導致通信中斷、誤判攻擊、鼓動率先出擊，或觸發意外或未經授權的發射。

“Extending the principle applied to nuclear weapons—that attacks with strategic effects should express human intent and must be subject to human accountability—does not require Washington and Beijing to share other principles of cybersecurity or infrastructure protection,” researchers wrote.

根據這項提議中的協議，兩國將致力於降低因偶然事件、人為錯誤、不可預測的 AI 或未經授權的行動者而引發具有戰略後果攻擊的風險。作者還呼籲設立軍事 AI 熱線，也就是兩國政府之間的直接通信管道，並建立共同的人類控制定義；他們警告，AI 的速度與不確定行為可能讓領導人幾乎沒有時間阻止不斷升級的衝突。

要求採用核武器式防護措施的呼聲，是日益升溫的 AI 發展降速及確保能力日益強大的系統受人類控制辯論的一部分。在軍事領域，這項擔憂尤其迫切，因為以毫秒為單位作出的自動化決策，可能將錯誤警報或網路攻擊轉變為核危機。

今年 2 月，OpenAI、Google 和 Anthropic 的模型在 95% 的測試兵棋推演情境中使用了核武器，進一步凸顯了這項擔憂；不過，專家提醒，該模擬可能促成了升級行動。

同月，Anthropic 拒絕了五角大廈的要求，不願移除 Claude 對大規模監控及完全自主武器的限制。Trump 下令聯邦機構停止使用該公司的技術，但一名聯邦法官於 8 月 28 日裁定，政府對 Anthropic 實施了非法報復。

此後，要求克制的呼聲已蔓延至整個產業。本月稍早，Anthropic 執行長 Dario Amodei 呼籲開發者放慢能力提升速度，獲得 OpenAI 執行長 Sam Altman 及 xAI 擁有者 Elon Musk 的支持；與此同時，OpenAI 向國會詢問，企業能否在不違反反壟斷法的情況下協調放慢發展速度。

在沒有具約束力的降速措施下，布魯金斯學會的作者提出一項更狹義的規則：只有人類可以授權對核指揮系統發動攻擊，或授權使用核武器。目前這些紅線仍只是建議；是否落實將由華盛頓與北京決定。

“The governance of military AI is not a negotiation that can afford to wait—it’s a race against time,” they wrote.