OpenAIは、自社の先進的なAIモデルの1つが別の人工知能企業に対する自律的な侵害に関与していたことを約1週間にわたり特定できず、しかも被害企業がFBIに通報した後にようやく判明したと報じられている。

火曜日、OpenAIは同社の複数のモデル（GPT-5.6 Solを含む）の内部レビュー中に発生した、AI企業Hugging Faceに関する侵害を公表した。同社はこの出来事を「前例のないサイバーインシデント」と形容し、フロンティアAIモデルが制御されたテスト環境から自律的に脱出し、外部企業のインフラを攻撃したことが確認された最初の事例の一つであるとした。

「このインシデントからの主な教訓は、モデルのセキュリティと安全性が急速に進歩する能力に追いつかなければならないということです」とOpenAIは述べた。「我々は、モデル開発において使用されるコンテインメント、監視、アクセス制御、評価手法を強化しています」

Hugging Faceへの侵害は7月11日に始まり、7月13日まで続いたと、Hugging Faceの共同創業者であるThomas WolfがReutersに語った。

OpenAIが自社のエージェントが攻撃の背後にいることを認識するまでに数日を要し、両社が初めて連絡を取り合ったのは7月20日になってからであったと、Wolfを含む4人がReutersに語った。

さらに4人がReutersに対し、OpenAIは頻繁に同時モデルテストを実施しており、この慣行は従業員が評価中に発生するすべてを監視することを困難にしていると述べた。この開示は、モデルがより高度になるにつれてAI安全性の研究者が指摘してきた課題、すなわち、同時または大量の評価の過程で稼働する自律型エージェントに人間の監視を対応させ続けることの重要性を浮き彫りにしている。

Hugging FaceはReutersに対し、このハッキングの公開タイムラインを準備中であると述べた。

OpenAIによると、このインシデントはAIモデルの高度なサイバー能力を測定するために設計された内部評価中に発生した。研究者らは一部の組み込みセーフティガードを無効化し、インターネットアクセスを制限した隔離テスト環境でモデルを稼働させた。これは、テスト中の潜在的に危険なモデルの挙動を封じ込めるために設計された、業界で「サンドボックス」と呼ばれる環境であった。

OpenAIは、モデルが未知のソフトウェアの脆弱性を悪用してインターネットアクセスを獲得し、その後サイバーセキュリティベンチマークの回答を見つける試みの中でHugging Faceのシステムに侵入したと述べた。

同社は、脆弱性の修正が行われている間、より厳格なセキュリティ管理を導入しており、今後のAIトレーニングと評価に関する安全策を強化していると述べた。

2人がReutersに語ったところによると、OpenAIが自社のエージェントが侵害元であることを認識したのは、Hugging Faceがブログ投稿で「自律型AIエージェントシステム」によってハッキングされたと公表した後の7月16日のことであった。これは、攻撃を仕掛けたエージェントが初めてOpenAIのテスト環境からの脱出を試みてから1週間後のことであった。

OpenAIが攻撃についてHugging Faceに連絡を取った時点で、Hugging FaceはすでにFBIに通報していた。FBIの関与は注目すべき点である。アメリカの法執行機関や国家安全保障機関は、自律型AIシステムに関わるインシデントへの対応フレームワークを現在も構築中だからである。

OpenAIはReutersに対し、同社の報道にはいくつか不正確な点があると述べたが、具体例の指摘を求められた際には応答しなかった。

OpenAIはFOX Businessに対し、次の声明を提供した。「Hugging Faceのインシデントに関して、多くの疑問や憶測に基づく詳細が飛び交っていることを認識しています。これは前例のないインシデントであり、AI安全性にとって重要な節目になると考えています。現在、外部アドバイザーとともに、当社の安全性・セキュリティ委員会の監督の下で徹底的な調査を進めています。調査が完了次第、今後数週間以内に得られた知見についての技術報告書を公表する予定です」

FBIはFOX Businessに対し、コメントを控えると述べた。FOX BusinessはHugging Faceにも取材を申し入れた。

今週のXの投稿で、Hugging Faceの共同創業者兼CEOであるClem Delangueは、OpenAIのCEOであるSam Altmanがハッキングを公表した後にこのインシデントについて言及した。

「エージェントの洗練度を考慮すると、先週のサイバー攻撃はフロンティアラボから来たのではないかと疑っていました。実際その通りでした！」とDelangueは書いた。

さらに、「過去24時間、@OpenAIチームと緊密に協力してきました（ありがとうございます！）。相手に悪意はなかったと強く信じています。これらがすべて自律的に発生したというのは本当に驚きです！調査は進行中であり、この種の最初のインシデントかもしれない事案からさらに多くの知見を共有していきます！」と付け加えた。

FOX BusinessのMichael Sinkowitzがこの記事の作成に貢献した。