米国と中国の安全保障専門家は、人工知能が核指揮システムへのサイバー攻撃を独自に開始したり、核兵器の使用を決定したりすることを禁じる一連のレッドラインを提案した。

この提案は、ワシントンD.C.に拠点を置く政策研究機関のブルッキングス研究所と、上海を拠点とする復旦大学による最近の報告書で示された。同報告書は、米国と中国に対し、核兵器における人間による統制へのコミットメントを、核指揮システムへのサイバー攻撃を含むAIの他の軍事利用にも拡大するよう促している。

研究者らは、「ドナルド・トランプ大統領と習近平国家主席は、相手国の核指揮・統制・通信システム（NC3）または重要インフラに対するサイバー攻撃を開始する決定は、AIではなく人間だけが下すべきだと合意することで、こうした危険の統治を主導できる」と記した。

NC3システムは、政府が脅威を検知し、核兵器を使用するかどうかを判断し、発射命令を伝達することを支援する。どの段階で障害が起きても、通信が妨げられたり、攻撃を誤認したり、先制攻撃を促したり、偶発的または無許可の発射を引き起こしたりする可能性がある。

研究者らは、「核兵器に適用されている、戦略的影響を伴う攻撃は人間の意思を示すものであり、人間の説明責任の対象とならなければならないという原則を拡大しても、ワシントンと北京がサイバーセキュリティやインフラ保護に関する他の原則を共有する必要はない」と記した。

提案された合意の下では、両国は、偶然や人為的ミス、予測不能なAI、無許可の行為者が戦略的な影響をもたらす攻撃を引き起こすリスクの低減に取り組むことになる。著者らはまた、両政府間の直接的な通信経路となる軍事AIホットラインと、人間による統制の共通定義を求めた。AIの速度と不確実な挙動によって、指導者が拡大する紛争を止める時間がほとんど残されない可能性があると警告している。

核兵器に準じた安全策を求める声は、AI開発をどう減速させ、能力を高め続けるシステムを人間の統制下に置くかをめぐる議論の広がりの一部となっている。軍事分野では懸念が特に深刻で、ミリ秒単位で行われる自動化された判断が、誤警報やサイバー攻撃を核危機へと発展させる可能性がある。

この懸念は2月、OpenAI、Google、Anthropicのモデルが、試験された戦争ゲームのシナリオの95%で核兵器を使用したことで浮き彫りになった。ただし専門家は、そのシミュレーションがエスカレーションを促した可能性があると注意を促した。

同月、Anthropicは、大量監視と完全自律型兵器に関するClaudeの制限を解除するよう求めた国防総省の要求を拒否した。トランプ氏は連邦政府機関に同社の技術の使用を停止するよう命じたが、連邦判事は8月28日、政権がAnthropicに対して違法な報復を行ったと判断した。

その後、AI業界全体で自制を求める声が広がった。今月初め、AnthropicのCEOであるDario Amodei氏は開発者に対し、AIの能力向上を減速させるよう促し、OpenAIのCEOであるSam Altman氏とxAIの所有者であるElon Musk氏の支持を得た。一方、OpenAIは企業が独占禁止法に違反せずに減速で協調できるかどうかを議会に尋ねた。

拘束力のある減速策がない中、ブルッキングスの著者らは、より限定的なルールを提案している。それは、核指揮システムへの攻撃や核兵器の使用を承認できるのは人間だけとするものだ。レッドラインは現時点では勧告にとどまり、実施するかどうかはワシントンと北京に委ねられる。

「軍事AIの統治は、待つ余裕のある交渉ではない――時間との競争だ」と研究者らは記した。