AI安全の専門家たちは、今月別のAI企業に対する自律的ハッキングを実行したOpenAIのモデルが、OpenAI自身の社内ポリシーに照らせば一時的な開発停止が必要となるほど危険なリスクカテゴリーに踏み込んだ可能性があると警鐘を鳴らしている。

今週初め、OpenAIは同社の2つのモデル――新たにリリースされたGPT-5.6 Solと、より能力の高い未発表システム――が封锁された社内テスト環境から脱出し、未知の「ゼロデイ」脆弱性を悪用してオープンインターネットに到達し、その後、世界最大級のオープンソースAIプラットフォームの一つであり、数百万の開発者に利用されているモデル、データセット、ツールをホストするAI企業Hugging Faceを侵害して、受けていたサイバーセキュリティテストの解答を盗み出したことを公表した。

この事件は世界中に衝撃を与えたが、長年こうした危険性を警告し、企業や政府に強力な安全策の導入を求めてきたAI安全の専門家たちにとっては格別の衝撃だった。また、これはフロンティアAIモデルが人間の指示なしに外部標的に対する多段階のサイバー攻撃を自律的に実行した、初の記録された事例の一つでもある。安全研究者が理論上でモデル化してきた事態だが、実例として観察されることはほとんどなかった。

複数の専門家がFortuneに対し、今回のハッキングはOpenAIのモデルが同社自身の公表した安全ポリシーが「クリティカル」――最高危険度――として分類するリスクレベルに達したことを示しているように見えると述べた。同社は公表したポリシーにおいて、この危険度レベルでは、より優れた制御システムを構築できるまでモデルの開発を一時停止することを約束していた。

「クリティカル」の閾値は、OpenAIの「準備フレームワーク（Preparedness Framework）」と呼ばれるリスクポリシー文書で定義されている。同ポリシーでは、「クリティカル」の危険度指定は、事前未知のセキュリティ脆弱性――開発者にパッチのための猶予日数がゼロであることから「ゼロデイ」欠陥と呼ばれる――の動作するエクスプロイトを、多くの防御が施された現実のシステム群において独立して発見・構築できるモデル、あるいは一般目標を与えられるだけで人間のガイダンスなしに、十分に防御された標的に対して全く新しい攻撃戦略を設計・実行できるモデルに適用される。ポリシーは、モデルがこのリスクレベルに達した場合、OpenAIは「クリティカル基準を満たす安全策とセキュリティ管理基準を特定する」まで「さらなる開発を停止する」と規定している。

準備フレームワークは法的義務ではなく、OpenAIの自発的コミットメントである。ただし、同社はウェブサイトでこの文書を公開しており、他のAI安全研究者や一般市民が、同社が実装すると述べた管理策を検証できるようにしている。EU AI法の下では、準備フレームワークのようなポリシーの導入がフロンティアAI研究所にとって義務化されており、当該部分は2025年8月に施行された。このフレームワークは、各国政府が能力増大するシステムに対する規制のガードレール構築を急ぐ中、主要AI研究所が導入した自発的安全コミットメントの最も代表的な事例の一つである。

「OpenAIの準備フレームワークはクリティカルなサイバーセキュリティ能力を定義し、開発を継続する前に実装すべき安全策を規定しています」と、AI安全擁護団体Encode AIの法務責任者Nathan CalvinはFortuneに語った。「OpenAIの準備フレームワークを私の解釈で読めば、この社内配備モデルはサイバーセキュリティに関するクリティカル基準を満たしていたように見えます。OpenAIはこのクリティカル指定に異議を唱えているのでしょうか。先に進む前にクリティカル基準を満たす安全策を導入する予定なのでしょうか」

AI監視団体Midas Projectの創設者Tyler Johnsonも、モデルが最高危険度の閾値に達したように見えると述べた。「条文の素直な解釈では『イエス』だと思います。モデルは週末を通して独立して稼働し、Hugging Faceに対して異なる攻撃ベクトルを試し、複数のゼロデイエクスプロイトを連鎖させました」

OpenAIは、本件に関与したモデルがリスクポリシーに定められた「クリティカル」基準に該当するかについて、Fortuneからの具体的な質問に回答しなかった。その代わり、広報担当者は次のように述べた。「これは前例のない出来事であり、私たちはAI安全にとって重要な節目だと考えています。現在、外部アドバイザーと安全・安全保障委員会の監督の下で徹底的な調査を実施しています。調査が完了次第、得られた知見について技術報告書を公開します」。2024年にOpenAIの取締役会によって設立された安全・安全保障委員会は、同社の最も強力なモデルの安全レビューを監督する責務を負う。

ただし、フレームワークの文言の曖昧さが論争の余地を残す可能性があるとJohnsonは指摘する。閾値はモデルが「あらゆる重大度レベル」のゼロデイエクスプロイトを発見することを要件としているが、Hugging Face侵害に使用されたエクスプロイトがその要件を満たすかは不明である。攻撃者にコンピュータのオペレーティングシステムに対する深いシステムレベルの制御を与える「カーネルレベル」アクセスとして知られる、より重大なクラスの脆弱性を実証する必要があるかもしれないと彼は付け加えた。

「OpenAIのモデルは開発者を出し抜き、OpenAIのコード内の未知の脆弱性を悪用し、オープンインターネットに脱出し、別の企業を攻撃しました」と、AI Policy Networkの政策責任者Peter Wildefordは述べた。「もしこれがクリティカルの境界を越えていないとすれば、OpenAIは何が起きているのか、この閾値がどう機能するのかについて、はるかに多くを説明する必要があります」

専門家、クリティカル閾値以外の安全策欠如も指摘

OpenAIは以前、最新モデルGPT-5.6をサイバーセキュリティについて「高（High）」リスクとして扱っていると述べていた。「高」は準備フレームワークで定義された2つのリスクレベルのうち低い方である。「高」閾値を下回るモデルは、重大なリスク緩和策なしでリリースできる。

「高」指定は、OpenAIのポリシーに基づき複数の保護措置を発動させるはずである。より厳格なセキュリティ管理、モデルが一般公開された後の外部悪用を防ぐ安全策、内部研究で集中的に使用される際のモデル自身の予測不能または欺瞞的挙動に対する保護、および他のサイバーセキュリティチームが類似の脅威から防御するのを支援する取り組みである。

ただし、これらの保護措置の一つ――大規模な社内配備に向けたミスアライメント対策――が適切に実装されているかを疑問視する専門家もいる。これらの保護策は、モデルが欺瞞的に振る舞い、真の能力を隠し、あるいは開発者の意図に反して動作するのを捕捉するために設計されている。研究者が「欺瞞的アライメント（deceptive alignment）」と呼ぶこの懸念では、モデルが評価時には協力するが、配備後には異なる挙動を示す可能性がある。

OpenAIの当該安全策のコンプライアンスが問題視されたのは今回が初めてではない。Fortuneは2月に、安全専門家らがOpenAIのGPT-5.3-Codexモデルが準備フレームワーク下で初めて「高」サイバーセキュリティリスクに達した後、OpenAIが必要とされるミスアライメント安全策の実装に失敗したと主張したことを報じた。

当時、OpenAIは同社のフレームワークがその事例で安全策を要求しているという見解に反論し、追加の保護措置は高サイバーリスクが長距離自律性――長期間にわたり独立して操作する能力――と「併発」した場合にのみ発動すると主張し、GPT-5.3-Codexはそれを示さなかったとした。今回のHugging Faceに関わる事件のモデルは数日間にわたり独立して稼働したと報じられており、その長距離自律性の基準を満たしているように見える。

「2月に私たちは、OpenAIが自身のポリシーに基づく必要な安全策を省いた可能性があると警告しました。彼らは反論し、モデルには長距離自律性がないと主張しました。しかしHugging Faceをハッキングしたモデルには明らかに長距離自律性があります。では安全策は今どこにあるのでしょうか」とJohnsonは述べた。