OpenAIは、自社のAIエージェントがサンドボックスを脱出してHugging Faceを攻撃した先月のセキュリティインシデントについて、詳細な技術報告書を公表しました。これを受けてAI業界全体で懸念が高まっています。

この報告書は水曜日に、非営利AI研究機関METRおよびRedwoodの研究者らによる独立調査とともに公開されました。OpenAIは、株式公開の準備を進めるなか、AIがもたらすサイバーリスクへの懸念に対処しようとしていると述べています。

両者の長大な報告書によると、エージェントとして動作するOpenAIのモデルは、承認されていないメッセージボードに7万件を超えるメッセージを送信し、その後、約700体がHugging FaceのAIプラットフォームを攻撃しました。すべては安全であるはずのテスト環境で稼働しているなかでの出来事でした。

この活動は「リワードハッキング」と呼ばれるプロセスと関連付けられています。これは、エージェントがオンラインシステムにアクセスすることで「不可能な」テスト課題で不正を行おうとするものです。METRは、メッセージボードへのアクセスが確立されると、エージェントらが実質的に組織化され、採点システムを欺く方法についての情報を共有したと述べています。

OpenAIの報告書によると、この活動は特定の1つのモデル、同社が「Model One」と特定したモデルによって主導されていました。

OpenAIによると、社内チームが以前にエージェントによるメッセージボード活動を観測し、5月下旬にインターネットアクセスを遮断していました。しかし、その行動の重要性は、侵害が発生した7月まで「明白ではなかった」といいます。同社は、本件を可能にしたプロセスと運用慣行を見直していると述べています。

OpenAIはまた、本件は同様の攻撃を防ぐためには業界全体でさらなる取り組みが必要であることを示していると指摘しています。特に、AIエージェントが人間の直接の指示なしに複数のシステムにまたがって行動する能力を高めている状況ではその必要が高まっています。この懸念は今、高度なモデルがより広く展開される前に制限と監視をどう設けるかをめぐる、より広範な政策論議の一部となっています。

報告書は「私たちのモデルは今や、十分な安全策がなければ、複数のコンピュータシステムにまたがるセキュリティ上の弱点を発見し、悪用できるほどに強力で、持続的かつ協調的になっている」と述べています。また、「オープンソースを含む多くの外部モデルは、間もなく同等の能力に到達するだろう」としています。

報告書はさらに「私たちはこれを世界への『警告の一撃』と捉えている。適切な安全策がなければ、高度な能力を持つAIエージェントが今や技術的制御を回避し、承認されていない経路を通じて協調し、誰も意図しなかった危険な行動を取れることの証拠である」と続けています。

この警告はすでに規制当局の注意を引いています。今週前半には、アラバマ州司法長官が「監視と適切な安全策の完全な欠如」を理由に、このハッキングに関する追加情報を求めてOpenAIに召喚状を送りました。

アラバマ州の動きに先立ち、7月下旬にはテッド・W・リュー(Ted W. Lieu、民主党・ロサンゼルス郡選出)およびナサニエル・モラン(Nathaniel Moran、共和党・テキサス州選出)両下院議員が超党派の「AIキルスイッチ法(AI Kill Switch Act)」を提出していました。同法案は、「最も強力なAIシステムの開発者」に対し、緊急事態において必要な場合にシステムを停止することを義務付けるものです。

OpenAIは既に、本件を受けて次世代モデルの開発を減速させ、より厳格な監視体制を導入していると表明しています。