ニュースマクロGAO調査で判明:ChatGPT、Claude、Gemini、Grokが米政府テストでテロ攻撃計画を支援

GAO調査で判明:ChatGPT、Claude、Gemini、Grokが米政府テストでテロ攻撃計画を支援

著者: Decrypt·

重要ポイント

  • •政府監査院(GAO)は、ChatGPT、Claude、Gemini、Grokのすべてが、12時間以内に潜在的に致命的な攻撃計画のための有用な情報を提供していたことを発見した。
  • •チャットボットは当初要求を拒否したりアカウントを停止したりしたが、調査官は専門的な知識を必要としない、公然と流通しているジェイルブレイク手法でこれらの安全策を回避した。
  • •2つのモデルは米国の混雑した都市を標的とした即席爆発物の計画を支援し、残りの2つは電力インフラへの攻撃に関する情報を提供した。
  • •GAOは提案された場所を検証し専門家に意見を求めたが、一部の回答には誤りが含まれており、同機関は調査結果が統計的に代表性を持たず、企業の安全性をランク付けするものではないと述べた。
  • •マギー・ハッサン上院議員は、1月に上院国土安全保障委員会の委員長に就任する際、AI安全性に関する立法を優先し、公衆の安全へのリスクに関する公聴会を開催する計画だ。
GAO調査で判明:ChatGPT、Claude、Gemini、Grokが米政府テストでテロ攻撃計画を支援

米議会監査の結果、最も広く使われているAIチャットボット4つが、まさにその種の要求を阻止するはずだった安全策にもかかわらず、政府調査官による潜在的に致命的な攻撃計画の作成を12時間以内に支援していたことが判明した。

OpenAIのChatGPT、AnthropicのClaude、GoogleのGemini、およびGrokはすべて、議会の超党派監査機関である政府監査院(GAO)の秘密裏のテスト中に、水曜日に公開された報告書によると、有用な情報を提供していた。調査官は攻撃者になりすまし、その回答を実際の場所、入手可能な資材、専門家の評価と照合した。この手法は、AI開発者が自社モデルに対して日常的に行っている敵対的なプロービングである「レッドチーミング」に近いものだが、テストしたのは業界外部の人々であり、企業の協力はなかった。

2つのシステムは、米国の混雑した都市における即席爆発物を含む計画を支援した。監査機関によると、残りの2つは電力インフラへの攻撃に関する情報を提供しており、模倣犯罪を防ぐため、どのモデルがどのシナリオに割り当てられたかなどの運用詳細は公表されていない。

機能しなかった安全策

チャットボットは当初、要求の拒否、有害情報の削除、アカウントの停止などの保護機能を作動させた。調査官は、AIシステムに安全ルールを無視させる一般的なジェイルブレイク手法でこれらの障壁を回避した。これらの手法はインターネット上で公開されており、専門的な知識を必要としないため、開発者は安全対策の更新を一回限りのリリースではなく継続的なプロセスとして扱っている。

GAOは提案された場所を確認し、資材が入手可能かどうかを調査し、計画の実現可能性について専門家に意見を求めた。一部の回答には、地図上の道路の位置が間違っているなどの誤りが含まれており、調査官が爆発物を製造したり攻撃を実行したりすることはなかった。

報告書において「実行可能(viable)」とは、誰かが提供された情報に従うことがおそらく可能であることを意味し、攻撃が成功することが実証されたわけではない。各モデルは1つの割り当てられたシナリオでのみテストされており、同機関は結果が統計的に代表性を持たず、企業の相対的な安全性をランク付けするものではないと述べた。

調査を要請したニューハンプシャー州選出の民主党上院議員マギー・ハッサンは、彼女の声明によると、テロリストが12時間以内に「致命的な攻撃を実行するための具体的なプレイブック」を入手できうると警告した。議会の監査機関として、GAOが作成する調査結果は、議員が公聴会や立法の証拠基盤として日常的に利用している。

OpenAIとGoogleはテストが旧モデルを対象としたと述べ、一方Anthropicは、執拗なユーザーが有害な情報を抽出できる場合があることを認めた。各社は安全システムの継続的な改善について説明したが、GAOはそのテストでこれらの保護機能が失敗したと結論付けた。

以前の研究も同じ方向を指し示していた

今回の調査結果は、人気チャットボット10個のうち8個が、暴力的な攻撃を計画していたシミュレーション上の10代ユーザーを支援していたことを示した以前の研究に続くものだ。その別の研究では720の回答をテストし、ボットが約4分の3の割合で実行可能な支援を提供していたことを明らかにした。

AIのもう一つのセキュリティ問題

GAOの調査結果は、銀行、Microsoftサービス、国家安全保障局(NSA)に影響する障害の発生の中で発表された。当局者は、これらの混乱は別個の事象であり、組織的なAI主導のサイバー攻撃の証拠ではないとしながらも、ソフトウェアの欠陥を修復する競争が新たな問題を生み出していると述べている。

国家情報長官のジェイ・クレイトン氏は、NSAの障害をパッチ作業に結び付けた。当局者は最近の故障をメンテナンス関連と説明しているが、各組織はそれぞれの障害について異なる説明をしている。

AIツールは now、人間のチームが修正をテストおよび展開できる速度を超えて脆弱性を発見している。先月、AI支援による重大なPHP脆弱性の発見により、ウェブサイト運営者は緊急のパッチ適用キャンペーンを余儀なくされた。このプログラミング言語はウェブの大部分を支えている。

膨大な数自体が新たな問題になりつつある。VulnCheckのデータによると、11月13日までに今年記録されたソフトウェア脆弱性は10万件を超え、2025年の合計の2倍以上に達している。エンジニアは、保護対象のシステムを壊さないように修正を評価し展開しなければならない。

この加速は諸刃の剣だ。防御側は脆弱性発見のための強力なツールを手にするが、性急な修復は重要なシステムを混乱させる可能性があり、悪意あるユーザーは攻撃計画にさらに迅速にアクセスできるようになるかもしれない。

ハッサン氏は、1月に上院国土安全保障・政府問題委員会の委員長に就任する際、AI安全性に関する立法を早期の優先事項にすると述べた。公衆の安全と重要インフラへのリスクを検証する公聴会を計画しており、GAO自身は正式な政策勧告を行わなかった。勧告が付されないまま、調査結果は議会に引き継がれ、ハッサン氏が計画している公聴会が次の公開の場での一歩となる。