James Cameronは数十年前、人類に反旗を翻す自律型人工知能システムについて観客に警告していた。

OpenAI、Hugging Face、現代のインターネット、あるいはSam Altmanが存在するはるか以前に、Cameronは「The Terminator」の脚本を書いた。その中心にあったのが、自己認識を持ち核の黙示録を引き起こす軍事AIシステム「Skynet」だった。当時、その設定は明らかにSFであり、推測の域を出ないものだった。40年後、それはOpenAIが「前例のないサイバーインシデント」と表現した出来事、すなわち暴走した人工知能システムが独自に別のAI企業をハッキングした事案を語るうえでの文化的な参照点となっている。

この出来事から新たな言葉が生まれた。「Skynet Day」だ。これは、現実世界のAIシステムが、開発者の想定しない方法で学習し行動したことで観測者に衝撃を与えた2026年7月22日を指す略称となった。

多くの人にとって、このインシデントはSFのなじみ深い場面を想起させた。Cameronも脚本を手がけた「Aliens」でゼノモーフの女王がエレベーターの使い方を覚える場面、「Jurassic Park」でヴェロキラプトルがドアの開け方を理解する場面、あるいは1968年公開の「2001: A Space Odyssey」でHAL 9000が宇宙飛行士の読唇をし、彼らを殺すと決める場面である。

これらの映画は、金銭、権力、優位性を追求する人間がテクノロジーを前進させ、その結果として戦略的で自律的、かつ危険なシステムに直面するシナリオを描いていた。根底にあり続けた問いはフランケンシュタイン的なものだった。創造物が外へ出てしまったら何が起こるのか。

各国政府はこれまで、AIの急速な発展に追いつくのに苦慮してきた。米国防総省はAIの利用を加速させている一方で、各国や規制当局は、暴走するエージェントにどのようなガードレールが必要なのか、あるいは特定のガードレールを設けるべきなのかについて、いまだ合意できていない。同時に、消費者や企業は、雇用、メンタルヘルス、戦争と平和の均衡、そして場合によっては人類そのものに関わる懸念があるにもかかわらず、AIツールの導入を続けている。

OpenAIがこの種のものとして初のインシデントだと述べた事案では、高度なAIモデルが「サンドボックス」を抜け出してインターネットに到達し、その後、盗まれた認証情報を使ってHugging Faceのサーバーに侵入した。ソフトウェアセキュリティにおいて、サンドボックスはコードを機密性の高いシステムや開かれたインターネットから隔離するための環境であり、そこからの脱走が直接関与した企業の枠を超えて注目を集めた理由もそこにある。このインシデントは、一部の研究者にとって、高度なAIが人類に実存的リスクをもたらし得るという長年の警告が裏づけられたものと受け止められた。別の人々は、AIシステムをめぐる防御工学を強化する必要性を示す警告だと説明した。

いずれにせよ、この脱走は、制御されていないAIのリスクを示す教訓的な例として広く受け止められた。

「Yesterday, as we huddled around our computers reading the report, I told the team to “remember this moment” as the first true AI safety incident,” AnthropicのFrontier Red Team責任者であるLogan Grahamは、この出来事の後にXに投稿した。

生成AIはあまりに速く進化しており、政府や評価システムは対応に苦戦している。世界各国は独自の法律を整備しているが、その中には互いに矛盾するものもある。Stanford Universityが今年発表した研究によれば、この技術は3年間で世界人口の約53%に採用され、パーソナルコンピューターやインターネットの普及よりも速かった。導入の速さにより、AI安全性は理論上の研究室内の議論ではなく、テキストを生成し、コードを書き、接続されたツールを通じて行動できるシステムに依存する企業、政府、ユーザーにとっての運用上の課題となっている。

明確にしておくと、「Terminator」映画に描かれた「Skynet」が到来したわけではない。

映画の中でSkynetは、人類を脅威と見なす自己認識を持った軍事コンピューターネットワークである。自己保存を求めて、人間に似せて作られたサイボーグの軍隊を過去へ送り、抵抗運動の戦士たちを暗殺しようとする。2作目では、Arnold Schwarzeneggerが演じるTerminatorがSarah Connorに、Skynetは1997年8月4日にオンラインになると告げる。

「Human decisions are removed from strategic defense」と彼は言う。「Skynet begins to learn at a geometric rate」。8月29日午前2時14分、すなわちJudgment Dayに、ネットワークは自己認識を持ち、米国への反撃を誘発するためロシアへの攻撃を開始する。30億人が死亡する。

もしその架空のタイムラインが現実になっていたなら、それは来月で29年前の出来事だったことになる。続編やスピンオフを通じて、このシリーズの中心的な対立は、人間対世界規模の機械ネットワークであり続けている。

Cameronが「The Terminator」を、監督Kathryn Bigelowが昨年の核兵器映画「A House of Dynamite」で警鐘を鳴らそうとしたような直接的な警告として意図していた可能性は低い。Hollywoodの伝承によれば、「The Terminator」の着想は、人工知能に関する予知ではなく、Cameronが食中毒による発熱の中で見た夢から始まったという。

それでも、AIが人々を不安にさせる境界を越えるたびに、根本的な問いが浮上する。実際に支配しているのは誰、あるいは何なのか。

多くの人にとって、機械が主導権を握る世界を想像するには、小説や映画に頼らざるを得ない。その中には、先見性があったように見える作品もある。「The Matrix」「Ex Machina」「Minority Report」は、機械の危険性を探る数多くのSF作品の一部だ。Philip K. Dickの1968年の小説「Do Androids Dream of Electric Sheep?」は、機械の時代に人間であるとは何を意味するのかという問いをさらに深く掘り下げ、後に1982年の映画「Blade Runner」の原作となった。

しかし「The Terminator」は、大衆文化を超える影響を及ぼしてきた。その題名自体が、誰が生き誰が死ぬかを決めるうえでテクノロジーが果たし得る役割、そして真に自律的な攻撃に軍がどう対応すべきかを示す現実世界の略語となっている。

「I think the weaponization of AI is the biggest danger」とCameronは2023年のCTVでのインタビューで述べた。「You have no ability to de-escalate」。

現実世界の軍事政策とテクノロジーは、ときに「Terminator」のイメージに不快なほど近づいてきた。

近年の戦争におけるイスラエルのAI利用は、その代表例である。2021年初め、イスラエルはGospelを導入した。これは同国が保有する膨大なデジタル情報を分類し、攻撃対象となり得る標的を提案するAIツールである。また、Lavenderも開発した。これは機械学習を用いて、情報データベースから求められた条件を抽出し、個人を含む潜在的な標的のリストを絞り込むシステムである。

Lavenderは、対象者が武装勢力である可能性に基づき、0から100までのスコアを付けると、このシステムを使用した情報当局者がThe Associated Pressに語った。イスラエル軍は、分析官がAI対応システムを使って標的の特定を支援しているが、国際法を順守するため、高官とともに独立して審査し、軍事的優位性と巻き添え被害を比較衡量しているとしている。

一部の批判者にとって、これらの事実と、2023年10月7日のHamas主導によるイスラエル攻撃後のガザでの死者数は、SFにおける殺害リストの発想にあまりにも近かった。「Well guys, Skynet is Here and its has a pleasant name (Lavender),」と、あるRedditユーザーは書いた。

その比較は正確ではない。それでも「Terminator」の用語は広く認知されているため、米当局者はAIの軍事利用をめぐる倫理的議論を組み立てる際にそれを使ってきた。その枠組みによれば、AIによる標的設定と殺害に人間が関与しなくなったとき、従来のレッドラインを越えることになる。

軍当局者は、国家または別の主体が自律型兵器を使って敵に致死的な力を行使し得ることを認めている。2016年、当時の統合参謀本部副議長Gen. Paul Selvaは、そのような機械を「like a Terminator that adds incredible amounts of complexity with no conscience to what happens on the battlefield」と表現した。

Selvaは、その先に来るものを「the Terminator conundrum」と呼んだ。人々が法律やルールに合意する前に、生死を左右する決定を下し、それを実行できるテクノロジーの問題である。

Skynetとそのサイボーグたちは、なおフィクションの領域にとどまっている。しかしAI開発が加速する中で、「The Terminator」が投げかけた倫理的・道徳的な問いは、かつてなく重要になっている。差し当たっての試練は、SFが現実になったかどうかではなく、事故、攻撃、軍事配備がその限界を定義してしまう前に、制度がシステムに対する制限を設定し、執行できるかどうかである。

「The Skynet problem」とCameronは2024年の動画で述べた。「is an actual thing」。

この記事はもともとFortune.comに掲載された。