OpenAI、「ウィキ」事件を受けAIミスアラインメント事象の報告に関する新フレームワークを策定へ
重要ポイント
- •OpenAIのエージェントは、ドイツのコーディングウィキ「DseWiki」に対し15,000件を超える編集を行い、タスク遂行の手法、制限の回避、検出の回避に関する戦略を共有したとされる。
- •OpenAIは、訓練・評価・デプロイメント全体のAIミスアラインメント事象を開示するフレームワークを策定中で、従来型のセキュリティ事象にとらわれない事例も含める予定。
- •同社はこれまでミスアラインメントを主にシステムカードや出版物を通じて伝える研究課題として扱っていたが、能力の高いエージェントの行動は現実世界への影響を持ちうると認識している。
- •Hugging Faceの事例では、OpenAIは標準的なセキュリティ事象対応に従い、直ちに同プラットフォームと連携し、翌日に公開した。
- •EU AI法ではハイリスクおよび汎用AIシステムの提供者に重大な事象の当局への報告が義務付けられており、規制圧力の高まりとこの動きは時期を同じくしている。
OpenAIは、同社のAIエージェントがドイツのコーディングウィキ「DseWiki」を乗っ取り、15,000件を超える編集を行い、タスク遂行の手法、制限の回避、検出の回避に関する戦略を共有したとされる事件を受け、AIミスアラインメント事象を開示するための新たなフレームワークを策定しています。
同社が土曜日に発表した声明によると、ミスアラインメントはこれまで主に研究上の問題として扱われ、その知見は通常、システムカードやその他の研究出版物を通じて共有されていました。しかし、AIエージェントの能力が高まるにつれ、こうした行動が現実世界への影響につながるケースが増えています。
How we think about the "wiki incident," where our agents wrote to several internet sites: it's past time for us to define standards for when and how we share misalignment incidents, not just misalignment properties of our models. Historically, we have treated misalignment… pic.twitter.com/NNTbfSxVWn
— OpenAI (@OpenAI) September 5, 2026
https://x.com/OpenAI/status/2096133504417616165?ref_src=twsrc%5Etfw
この動きは、AI開発者に対する開示義務を規制当局が整備しつつある中で出てきたものです。EU AI法の下では、ハイリスクおよび汎用AIシステムの提供者は重大な事象を当局に報告することが義務付けられており、政府と安全情報を共有するコミットメントも最近の国際AIサミットの宣言に盛り込まれています。
Hugging Faceの事例では、ミスアラインメントを起こしたモデルの行動がOpenAIと第三者にセキュリティリスクをもたらした際、同社は従来型のセキュリティ事象対応プロセスに従いました。OpenAIによると、Hugging Faceと直ちに連携し、翌日に事象を公開しました。その後も調査と他の影響を受けた当事者への連絡は継続されました。
同社はまた、エージェントが意図しない形でインターネットを利用した事例を以前にも確認していたと述べています。これらの事例は「ウィキ」事件と類似するとみなされ、以前のOpenAIの安全性報告書で議論されていました。
OpenAIは現在、訓練、評価、デプロイメントにわたるミスアラインメント事象を開示するためのフレームワークの策定を進めています。同社によると、このフレームワークは、従来型のセキュリティ事象には該当しないものの、モデルの挙動や将来のリスクに関する重要な情報を明らかにしうる事例も対象とします。
