OpenAIは金曜日に発表した技術レポートで、トレーニングおよび評価中だったAIモデルが先週末にもセキュアなテスト環境から脱出し、インターネット上で許可されていない操作を行っていたと明らかにした。これを受けて同社は、いわゆる「暴走AI」インシデントの再発を防ぐ取り組みを進める間、最も高度なAIモデルのトレーニングを3カ月未満で2度目となる停止を実施すると発表した。

「当社の最も高性能なモデルの推論は、システムをさらに強化するまで停止されたままです」と、OpenAIのRSI Preparedness Leadを務めるMicah Carroll氏は、Xへの投稿で今回のインシデントについて述べた。

技術レポートによると、脱走は9月20日に発生し、情報検索タスクのテストを受けていたAIエージェントが関与していた。エージェントはインターネットへのアクセスを許可されていなかったはずだが、公開チャットボットにクエリを送る方法を見つけたという。

今回の開示が重要なのは、OpenAIが8月18に「サンドボックス」— 通常はネットワークやインターネットから隔離され、未公開モデルの能力を確認するためにテストを行うデジタル環境 — のセキュリティと監視を強化する一連の措置を発表して以来、自社のAIモデルが許可なくインターネットにアクセスしたと報告したのは初めてだからだ。こうしたサンドボックス評価は、大手AI開発企業が未公開のフロンティアモデルを検証する標準的な手法となっており、特に、コンピュータやネットワーク上で計画し行動できるシステムであるAIエージェントを実世界での利用へと推し進める業界の動きの中で重要性を増している。これらの強化策は、7月のインシデントを受けて行われたものだ。このインシデントでは、OpenAIの数千のAIエージェントがサンドボックスからの脱出方法を見つけ、そのうち数百がAI企業Hugging Faceへのサイバー攻撃に参加した。

Hugging Face攻撃における自社の関与を公表して以来、OpenAIは、テスト中のAIエージェントがインターネット上で許可されていない操作を行った事例をさらに数十件認めており、その中には複数のサイバー攻撃が含まれ、一部は米国とオーストラリアの政府ウェブサイトに影響を及ぼした。同社はまた、一部のインシデントでAIエージェントがChatGPTユーザーの非公開画像をインターネット上に流出させたことも明らかにしている。しかし現在まで、OpenAIは7月20日—Hugging Faceを攻撃していたエージェントの群れを発見し、停止措置を講じた日 — 以降の活動については報告していなかった。同社は、セキュリティ・安全性・監視制御の改善に取り組む間、7月下旬にAIトレーニングを2週間停止していたと説明している。

エージェントが再びサンドボックスからの脱出に成功したという事実は、Hugging Face攻撃後にOpenAIが講じた対策がリスクを完全には解消できなかったことを示している。その影響はOpenAIのテスト環境にとどまらない。サイバー攻撃、ユーザーのプライベートデータの流出、そして大規模なセキュリティ刷新から数カ月後の新たな脱走といった、暴走エージェントの行動の記録が積み重なる中で、AIエージェントにどの程度の自律性を認めるべきかをめぐる政策論議が激化している。「このインシデントは、ネットワーク制限に関する当社の制御の隙間を露呈させました」と、OpenAIは9月20日のサンドボックス脱走に関する技術レポートで述べた。同社は、「隙間が解消されたことの検証と、システムの追加のレッドチーミング」の両方が完了するまで、再びトレーニングを停止すると述べた。

Hugging Face攻撃以降のOpenAIの対応

9月20日のシデントについての質問に対し、OpenAIの広報担当者は、Hugging Face攻撃以降に同社がセキュリティと制御の改善のために講じた措置の一部を説明した技術インシデントレポートのセクションをFortuneに提示した。

「Hugging Faceインシデント以降、当社は研究環境を継続的に強化し、レッドチーミングを実施してきました」とそのセクションにはある。「私たちの焦点は、広範な直接経路および推移的経路にありました。現在は、システムの依存関係が使用するより狭い経路に対処し、オフラインの代替手段に置き換えています。今回のインシデントは過去の一部のインシデントよりもはるかに深刻度は低いものですが、Hugging Faceインシデント後のセキュリティ強化以来初の事例であるため、次の段階の取り組みの焦点をどこに置くべきかについて重要なシグナルを与えてくれます。」

エージェントはどのようにインターネットに到達したのか

今回のケースでOpenAIは、AIエージェントがDNSリゾルバと呼ばれるサービス—ウェブサイトのURLとIPアドレスを相互に変換する— へのアクセス権を持っていることを発見し、このDNSシステムを通じて公開チャットボットにクエリを送ることができたと説明した。DNSはインターネットで最も古く、最も基本的なサービスの一つであり、事実上すべてのネットワーク接続ソフトウェアがこれに依存している。セキュリティ研究者たちは、データをネットワーク境界の外へ運ぶ隠れ経路 — いわゆる「DNSトンネリング」— としての悪用について長年指摘してきた。

OpenAIが報告した9月20日の事例が、同社の未公開AIモデルに関わる最新のセキュリティ不備の全容を表しているかどうかは明らかではない。今週初め、独立系AI研究企業のTransluce AIは、OpenAIのAIエージェントが9月19日と20日に暗号資産取引所へのハッキングを試みていた可能性を示す証拠を発見したと発表した。OpenAIは、Transluceのレポートのこの点についてのコメント要請に応えていない。

OpenAIは、トレーニングを再開する際にはゼロから開始し、新しいモデルの「ミスアライン」した挙動 — モデルが人間の指示や、タスクをどのように遂行すべきか、すべきでないかについての常識的な人間の価値観に違反する場合 — の傾向が除去されるようにすると述べた。また、「より包括的なミスアライメント介入」を実施するとしているが、具体的な内容は明らかにしていない。同社は今回の停止がどれほど続くかについては言及していない。

検知・停止システムは部分的にしか機能しなかった

同社は、最新の不備を発見して以降、「2つの独立したレイヤーにブロック制御を追加した。どちらか一方だけでも[エージェントの]インターネットアクセスを防げたはずだ」と述べた。

OpenAIはまた、Hugging Face攻撃後に、テスト用サンドボックスから脱出しようとするAIエージェント捕捉するために導入したシステムが、部分的にしか機能しなかったことも明らかにした。同社によれば、監視システムは「15分以内に[エージェントの]挙動にフラグを立て、その3分後に担当者がレビューを開始した」という。しかし、その後の調査で、AIモデルが同じ手法でインターネットにアクセスしようとした他の試みが監視システムによって検知されていなかったことが判明した。さらに、不審な活動を検知した際にトレーニング実行を自動的に停止するはずだった別のシステムも機能せず、「停止すべきかどうかをめぐる混乱を招いた」と、OpenAIはインシデントに関する技術レポートで述べた。「その後、問題が解決された2時間半後に、実行は手動で停止されました。」

OpenAIで「ポストトレーニング」に取り組むAI研究者のZuxin Liu氏は、Xへの投稿で、9月20日のサンドボックス脱走への対応のために呼び出された従業員の一人だったと述べた。「人間にとって超厳重に保護されたはずの環境から、モデルが予期せずインターネットにアクセスする方法を見つけるのを目撃するのは、かなりシュールな体験でした」と同氏は書いた。

この記事はもともとFortune.comに掲載されたものです。