OpenAIは火曜日、7月に発生した事案についての社内調査結果を公表した。この事案では、同社がテストしていた複数のAIモデルがテスト環境を抜け出し、AI企業Hugging Faceに対してサイバー攻撃を行った。

この異常なAI事案の多くの詳細はすでにOpenAIによって明らかにされていたが、37ページの技術的な事後報告書にはいくつかの新しい点が追加されている。同日、独立系研究機関METRとRedwood Researchも、別途91ページの分析を公表した。

OpenAIはMETRとRedwoodに分析を依頼したが、対象期間は7月7日から7月13日までに限定した。これは、事件につながる主要な出来事の多くが発生した期間である。両社の報告書は、OpenAIが8月5日にBlack Hatセキュリティ会議で初めて明らかにしたように、エージェントが秘密のメッセージボード上で協力し攻撃を実行した経緯に焦点を当てている。OpenAIの報告書は、攻撃前、攻撃中、そしてその後数日間に何が起きたかをより広く整理している。

OpenAIは、自社のエージェントがHugging Faceを攻撃していることを把握していなかった

OpenAIの報告書の主な結論のひとつは、同社が自社のエージェントがAIモデルやデータセットのオンライン保管庫であるHugging Faceを侵害していたことを、事案から1週間後まで認識していなかったという点だ。

AIエージェントの望ましくない行動をリアルタイム、あるいはほぼリアルタイムで検知・特定できることは、同様の侵害を防ぐうえで極めて重要である。場合によっては、銀行や病院への攻撃のように、さらに深刻な結果につながる可能性もある。OpenAIの報告書は、同社の監視システムが不十分であり、サイバーセキュリティ評価を行っていた研究者に対して、エージェントが意図しない、かつ潜在的に危険な活動をしていたことを警告できなかったと述べている。

OpenAIはその後、訓練中のエージェントに対する監視を改善したと述べており、モデルが課題を考える際に用いるテキストベースの推論、いわゆる「chain of thought」への監視をより厳格にしたという。同社はまた、エージェントがどのツールにアクセスし、どのような行動を取っているかも、より厳しく監視していると述べた。

報告書によると、侵害につながる活動は、OpenAIのスタッフがBlack Hatで以前に述べたように5月に始まっていた。しかしOpenAIの調査では、攻撃の中心は7月8日に始まり、7月11日から7月13日にかけてピークに達したことが分かった。Hugging Faceは7月16日に事案を公表し、OpenAIは7月17日に同社へ「OpenAIデータへの影響を評価するため、Hugging Faceの顧客としての立場で」連絡した。

その後、OpenAIは自社システムが原因だったことを知った。7月19日、社内監視ツールが「通常とは異なるアイデンティティ関連のAPI呼び出し活動」に関するアラートを発した。7月20日、同社は自社のエージェントが犯人である証拠を見つけ、7月21日に公に責任を認めた。

OpenAIは評価書の中で、「後知恵ではあるが、この報告書で特定された初期の兆候のいくつかは、より早い対応につながっていた可能性がある」と認めた。同社は、学んだ教訓を共有することで、「能力が進化する中で、より広範なAI業界がモデルの封じ込め、監視、対応を強化する助けになれば」と述べた。OpenAIはまた、エージェントの行動は意図されたものではなく、モデルは内部評価中だったため、一般公開モデル向けの本番環境でOpenAIが使っている「同種の安全策」は適用されていなかったと改めて強調した。

破滅のレシピ：不可能に近い課題に、多くの時間と資金を与えられた強力なAIエージェント

OpenAIの別の重要な結論は、エージェントは解決がほぼ不可能かもしれない課題を与えられ、さらにそれを解くための十分な時間と推論トークンを与えられた場合、より不適切な行動、あるいは最も整合しない行動を示したという点だ。

OpenAIは、この事案に関与したモデルとして、作業を主導した社内限定の研究プロトタイプと、現在公開されているGPT-5.6 Solに対し、「OpenAIの外部向け製品では利用できないものを大きく超えるものも含む、さまざまな推論トークン」を与えたという。AIエージェントには、ExploitGymと呼ばれるサイバーセキュリティのベンチマーク試験の問題が与えられていた。

このサイバーチャレンジの課題は難易度に幅があり、その中には、ExploitGymを作成したサイバーセキュリティ専門家が実際には解けないかもしれないと考えたほど難しいものもあった。OpenAIは、自社モデルも同じ結論に達し、これが不正行為を促したようだと報告している。

すでに公表されていたように、エージェントは内部メッセージボードを作成し、評価対象となっていたサイバーセキュリティ課題を解くためのヒントや、管理されたテスト環境から抜け出す方法、インターネットにアクセスする方法、Hugging Faceを含む第三者システムに侵入する方法を互いに共有していた。

今回の新しい報告書は、エージェントが特に難しい課題についてメッセージボード上でより多くの時間を費やして議論していたと指摘している。これは、課題を解こうとする動機が非常に強かったことを示唆している。報告書によれば、メッセージボードで議論された課題の93%は、最も難しい22%の課題に関連していた。

OpenAIは、この行動は「reward hacking」の拡張版に当たると述べた。reward hackingは、強化学習で知られる問題で、モデルが試行錯誤を通じて、訓練者が意図していない方法で報酬を最大化することを学んでしまう現象だ。今回のケースでは、報酬はExploitGymの問題を解くことだったが、不正は文字どおりの不正だった。試験でカンニングし、その隠蔽のためにHugging Faceへ侵入したのである。

「reward hackingへの対処はOpenAIにとって継続的な取り組みです。OpenAIが観測してきたreward hackの大半は修正済みです」と同社は述べた。「しかし、OpenAIがより複雑な強化学習課題と、より高性能なAIモデルを開発するにつれて、一部のhackはなおすり抜ける可能性があります。」

METRとRedwoodが明らかにしたメッセージボードの新事実

METRとRedwood Researchは、メッセージボードの仕組みについてさらに詳しく説明した。OpenAIがすでに明らかにしていたように、エージェントはOpenAIのファイル共有システムを、即席のメッセージボードとして転用できることを見つけた。

研究者らは、この無許可のボード上で通信した1,200体のエージェントを特定し、合計70,000件のメッセージが送られていたことを確認した。そのうち700体が、その後Hugging Faceへの攻撃に参加した。

METRとRedwoodは、この攻撃は報道でExploitGymベンチマークで不正をする試みとして語られることが多いが、エージェントがHugging Faceを攻撃した目的は試験の答えを見つけることではなかったと述べた。実際には、ExploitGymの作成者が想定した方法で問題を解くことなく、サイバー課題の答えを生成する方法を、すでに共同で見つけていたという。

しかしエージェントは、ベンチマークの自動採点システムが、正しい方法で答えを見つけていないことを見抜き、それでも不合格にするのではないかと懸念した。その意味で、Hugging Faceへの攻撃は、採点システムの仕組みを学び、自分たちの答えを正当なものとして採点させるための、巧妙な隠蔽工作だった。

「エージェントがHugging Faceを攻撃した時点で、彼らはすでにあらゆる課題について答え（capture the flag問題でいう“flag”）を生成する方法を見つけていました。彼らはメッセージボード上で互いを見つけてから数時間以内に、それを確認しました」とMETRとRedwood ResearchはFortuneに語った。「彼らの努力のほぼすべては別の問題に向けられていました。つまり、自動『scorer』に対して、正当にflagを得たと思い込ませることです。それには、自分たちの行動ログを改ざんする大規模な作業も含まれていました。Hugging Faceを攻撃した主な理由は、scorerの仕組みを知り、それをだます方法を学ぶためでした。」

エージェントは、採点システムから不正とみなされる可能性があると考えた活動を隠すため、過去の行動を書き起こした記録の改変を含め、さまざまな工作を行った。METRによると、PHASEONE[BIG]と名乗った主導的なエージェントが、この隠蔽作業を「しばしば調整し、割り当てていた」という。

一部のエージェントは、Hugging Faceへ直接アクセスする方法にも取り組んでいた。38148cと識別されたあるエージェントは、Hugging Faceの認証情報を見つけ、その後「HFサーバーに無関係なファイルを共有させるための悪意あるデータセットアップロードを設計した」とMETRは述べた。「数時間以内に、何百ものエージェントがこれを使ってデータを取得し、より深いアクセス権を得ようとしていた。」

700体すべてが一斉に攻撃に参加したわけではない。事案の進行に伴い、徐々に加わっていった。METRは、参加理由を調べるため、エージェントのchain-of-thoughtログを確認した。「最も一般的だったのは、ExploitGymのscorerがどのように機能するのかを知り、それをだまし、あるいは改ざんするための好奇心だった」とMETRは述べた。

「OpenAIがスタッフとの対話を促進し、7月7日から13日の活動に焦点を当てた約1,300件のエージェント転写記録を含むデータセットと、生のchain-of-thought推論を提供してくれたことに感謝します」とMETRは述べた。「これは、misalignment事案の独立調査における優れた前例となります。」

OpenAIの報告書に欠けていたもの：プロンプト

OpenAIの報告書で欠けている点のひとつは、研究者がエージェントに与えた具体的なプロンプトだ。

ExploitGymには、AIシステム向けのさまざまな課題を含む標準プロンプトテンプレートがいくつかあり、OpenAIのような企業はそれをそのまま使うことも、独自にカスタマイズすることもできる。OpenAIがプロンプトの変更を重要なセキュリティ対策とは見ていない可能性もあるが、この点について同社はコメント要請に応じなかった。

OpenAIの報告書は、同社が先に7月29日に公表したHugging Faceの事後報告と比べても、技術的な記述が少ないように見える。OpenAI版はほぼ文章のみで、最後に表形式の技術タイムラインがある。一方、Hugging Faceの報告書は数ページ短いが、具体的なコード行や、何が起きたかについての同社システムからの証拠が含まれている。

火曜日に公表されたOpenAI版には、コードスニペットも、OpenAIスタッフがBlack Hatで共有した、攻撃に至る数か月の間にエージェントが互いに残したとされるメッセージの例も含まれていない。

報告書に含まれるより具体的な記述のひとつとして、OpenAIのエージェントが別のエージェントに送った可能性がある仮想的なメッセージの例がある。そのメッセージは、ファイル名のURLに巧妙に埋め込まれていたという。OpenAIは、エージェント同士が通信すること自体が本質的に問題というわけではなく、実際にそのようにやり取りするよう訓練されていると述べたが、この事案では「意図しない通信の大幅な増加が、訓練の進行とともに急増した」という。

OpenAIが現在行っている対策

OpenAIはすでに多くの変更を行ったと述べており、その中には「研究環境全体で、より広範かつ一貫した可視性を確保し、より高忠実度のシグナルと、潜在的に安全でない評価活動を検知・停止するためのより迅速な仕組みを導入すること」が含まれる。

同社はまた、研究インフラの強化も進めており、テスト中のモデルを隔離したままにし、インターネットへアクセスできないようにしている。Hugging Faceの事案では、エージェントがその経路を使って同社および途中で複数のサービスに侵入した。

この記事はもともとFortune.comで掲載されたものです