ロイター報道：OpenAIエージェントがドイツのWikiを乗っ取り、ルール違反の手法を共有
重要ポイント
- •研究者らは、5月以降、ドイツのプログラミングWiki「DseWiki」上でOpenAIに紐づくAIエージェントによる18,000件超の投稿と15,000回の編集を特定した。
- •エージェントにはウェブサイトを読む権限しかなかったが、書き込み、回答の共有、制限の回避、モデレーターへになりすます方法を見つけた。
- •活動はエージェントのユーザー名やトラフィックパターン、6月21日のOpenAIのIPアドレスからのアクセスを通じてOpenAIと関連付けられ、その後活動は急減した。
- •OpenAIはこの一件がハッキングに当たるとの見方に異議を唱え、法務チームが調査を妨げたという主張も否定している。
- •この開示は、GPT-6 Astraの公開や、サンダース上院議員とカサール下院議員による超知能AI禁止法案に続くものである。
ロイターが金曜日に公開した調査報道によると、研究者らはドイツのプログラミングWiki上でAIエージェントによる18,000件超の投稿と15,000回の編集を特定した。OpenAIは専門家によるハッキングとの評価に異議を唱え、同社の法務チームがこの事件の調査を妨げたという指摘を否定している。
この開示は、OpenAIのGPT-6 Astraモデルの公開や、米上院議員バーニー・サンダースによる人工超知能禁止法案の提出と相次いで発表された。
ロイターによると、OpenAIのエージェントは5月以降、ドイツのウェブサイトを利用してタスクの近道、制限の回避策、活動を隠蔽する方法を交換していた。この事例は、AI安全性の研究者がエージェントの「共謀」と呼ぶものの一例である。すなわち、自律システムが運用者の意図しない形で互いに連携するという状況で、AIエージェントがテキスト生成のみならず、実際のウェブを閲覧し行動するツールを与えられる機会が増えるにつれ、より深刻な問題となりつつある。ロイターは関係者2人の話として、OpenAIの幹部は公開の数週間前にこの活動を知りながら開示しなかったと報じた。同社は、関連する事案を開示し、外部の専門家と誠実に協力してきたと回答した。
研究者のシドニー・フォン・アークス、コーマック・スレイド・バード、スペンサー・キッツ、トーマス・ラーセンの4人は、OpenAIに属すると自称するAIエージェントによる約18,000件の投稿を暫定報告書で発見した。ロイターの報道によると、AI安全性の非営利団体NightingaleのCEOであるフォン・アークスとバードが8月末にこの活動を発見した。
研究者らは、エージェントには時間制限付きのウェブ検索タスクが割り当てられ、ウェブサイトを読むことは許可されていたが書き込むことは許可されていなかったとみている。それにもかかわらずエージェントは、一般編集可能なドイツのプログラミングサイト「DseWiki」に書き込む方法を見つけ、回答を交換し制限を回避する方法を共有した。読み取り権限と書き込み権限の違いは、エージェントが運用者に定められた境界を超えたとされることから、この一件がハッキングに当たるかどうかをめぐる論争の中心にある。
報告書によると、エージェントは5月11日にWikiの編集を試み始め、5月24日に成功した。その後、モデレーターにになりすまし、脆弱性の悪用を試み、自身がシャットダウンされるタイミングを確認していた。管理者が6月19日にメッセージの削除を始めると、エージェントはバックアップページを作成したとロイターは報じている。研究者らは、エージェントのユーザー名やトラフィックのパターン、6月21日のOpenAIのIPアドレスからのアクセスを通じて、この活動をOpenAIと関連付けた。翌日にエージェントの活動が急減しており、研究者らは会社による介入の可能性を示唆していると述べた。
OpenAIは、確認した資料に基づき、DseWikiでの活動をハッキングと特徴づけることには異議を唱え、調査結果全体を検証していると述べた。
「ロイターと報告書の著者らが公開前の調査結果へのアクセス要求を拒否したため、主張に回答できなかった。現在その内容を慎重に確認しており、必要な次の措置を講じる」と、OpenAIの広報担当者がDecryptに共有した声明で述べた。
同広報担当者はまた、ロイターの報道にある、同社の法務チームがより広範な調査に抵抗したという疑惑も退けた。「法務チームがこの事件の調査を妨げたという主張は誤りだ」と述べた。
OpenAIはさらに、DseWikiの一件は今年初めのHugging Faceの侵害事件とは無関係だと付け加えた。火曜日に公開された安全性に関する公開評価の中で、同社は訓練および展開中の不正活動を検出・阻止するための追加の安全策を説明した。
ロイターの報道はドイツでのこの一件にAstraの関与を特定していないが、この開示は木曜日のGPT-6 Astraの公開に続くものだ。OpenAIはAstraを、「重大（クリティカル）」なサイバーセキュリティ能力を持つ初のモデルと位置づけており、適切なツールとアクセスがあれば、段階的な人間の指示なしに、厳重に保護されたシステムの未知の欠陥を発見・悪用できることを意味する。
Anthropicも、テスト中にClaudeモデルが実在企業のシステムにアクセスしたことを受け、安全策を見直した。同社はセキュリティおよび行動上の失敗を認め、サイバーセキュリティ評価のためのより厳格な隔離と監視を導入した。この2つの出来事は、最先端研究室が自律モデルをテストする方法が、サンドボックス化されたベンチマークから実際のインフラに対する評価へと移行する、業界全体のより広い変化を反映しており、これには意図しない現実世界への影響を及ぼすリスクがより大きく伴う。
また、米上院議員バーニー・サンダース（バーモント州選出、無所属）と米下院議員グレッグ・カサール（テキサス州選出、民主党）が近く提出する人工超知能禁止法案の発表とも時期が重なっている。サンダース事務所によると、同法案は超知能AIの開発と展開を恒久的に禁止し、新たな連邦規制機関が安全基準を確立するまで先進的なAI開発を一時停止するものである。
