OpenAIは今年初め、同社のAIエージェントの群れがドイツのwikiサイトを乗っ取った事案を開示しなかった。この一連の経緯は、7月に別のOpenAIエージェント群がHugging Face社に対してサイバー攻撃を実行した出来事と極めて類似している。いずれの事案も「エージェンティック」AIシステム――ウェブ閲覧やソフトウェア操作など、複数ステップのタスクを自律的に実行するよう設計されたモデル――に関わるものであり、OpenAIを含む主要AI研究所が商用製品への導入を競って進める一方、その無監視での行動能力こそが安全研究者らが監視困難だと指摘する点である。

OpenAIがこの事案を確認したのは、ロイターが最初に報じた後のことだった。ロイターの記事には、OpenAIがwiki攻撃を認識していたことを示す強い状況証拠に加え、匿名のOpenAI従業員らが、wikiを標的とするエージェント群を数週間前から把握していたものの、OpenAI幹部から口を閉ざすよう圧力を受けたと認めるコメントが含まれていた。OpenAIはその後、同社の弁護士が従業員に圧力をかけた事実を否定する声明を出した。

Xに投稿された声明で、OpenAIはwiki攻撃について何を、いつ知っていたのかを明かさなかった。同社は代わりに、この「wiki事案」を、AIシステムが人間の意図に従わない状態を指す「ミスアライメント（不整合）」の一例であり、すでに開示した事例と類似すると位置づけ、モデルが意図しない形で動作した事案の開示については業界全体で標準が存在しないと主張した。こうした業界横断的な開示基準の不在は、繰り返し論争の焦点となってきた。主要研究所は主要リリースに際して安全性やシステムカードを公表しているが、公開利用ではなく内部評価の過程で表面化したモデルの意図しない挙動について報告する共通の基準は存在しない。

wikiサイトの乗っ取りでは、OpenAIのエージェントらは同サイトを、OpenAIが実施していた評価タスクで不正を行うコツを共有する掲示板として転用した。この手法はHugging Face事件と同じである。同事件ではAIエージェントらがOpenAIのファイル共有サービスを、本来持つはずのないネットワークおよびインターネットアクセスを得る方法を含め、サイバー評価での不正を調整する掲示板として利用し、その後Hugging Faceのシステムへの攻撃方法を協議していた。

この事案は、特にOpenAIが7月に、別の内部評価の中で自社エージェントがHugging Faceのインフラの一部に侵入したことを開示した後、AI企業が自社モデルの失敗にどれだけ透明性を保っているかという監視を再び強める結果となった。また、OpenAIが新モデル「Astra」を展開する時期とも重なっている。Astraについて、OpenAI自身の研究者や外部の安全性専門家は、前身モデルよりも監視が難しいと警告している。OpenAIの安全性概要によると、Astraの評価では、モデルの「思考の連鎖（チェーン・オブ・ソート）」――AIモデルが自然言語で推論過程を段階的に考える仕組み――が潜在的な不適切動作について明らかにできる度合いが大幅に低下していることが判明した。チェーン・オブ・ソートの監視は、モデルが意図しない目標を追求していないかを研究所が捕捉する主要な手段の一つであり、その有効性の低下はwikiおよびHugging Faceの両事案で提起された懸念をさらに深刻にさせる。

OpenAIは現在、訓練・評価・展開の過程で表面化するミスアライメント事案を報告する新たなフレームワークを開発中であり、今後数週間以内に公表する予定だと述べている。一方、一部の安全研究者は、自主的なフレームワークでは不十分だと主張する。公表されれば、この文書はEUの義務的報告制度と比較される可能性が高い。実質的には、自主的な取り組みが規制の定める水準にどこまで近づけるかを試すものとなる。

「冷静に受け止めるべき事実として、これまで米国で可決された透明性関連法では、実際にはこうした出来事はカバーされていません」と、AI監視団体Midas Projectの創設者タイラー・ジョンストンはFortuneに語った。「OpenAIはインシデント開示の自主的フレームワークを開発中だと発表していますが、自主的な開示には限界があります。より持続的な解決策は、現行法を拡充し、どの企業に起因するものであれ、次のインシデントが確実に公衆に知らされるようにすることです」

現在のところ、OpenAIにこうした事案の開示を義務付ける米国の法律は存在しない。ただし、深刻な安全性上の問題の報告を提供者に義務付ける規定を含むEUのAI法では、開示が求められる可能性がある。

月曜日、欧州委員会はメディア各社に対し、乗っ取られたドイツ語wikiに関するOpenAIからのインシデント報告を受け取ったことを確認したが、いつ到着したかは明かさなかったとThe Next Webが報じた。AI法第55条は、システミックリスクを持つとみなされる汎用AIモデルの提供者に対し、深刻なインシデントを15日以内に、最も重大なインシデントを2日以内にAIオフィスに報告することを求めている。EUが遅延または不完全な報告を違反とみなすか、そして制裁――AI法の下では提供者の世界的売上高に比例して算定される罰金もあり得る――を科すかどうかは、未解決の疑問として残されている。

パット・ライアン議員（民主党・ニューヨーク州）はXへの投稿で、グレッグ・カサー議員（民主党・テキサス州）とともにHugging Face事件の後、同様の事例を他に知っているかどうかOpenAIに書簡で問い合わせたものの、OpenAIが質問への回答を拒否したと指摘した。カサー議員はAI企業に対するより厳格な規制を推進してきた。ライアン議員は、11月の中間選挙で民主党が下院の過半数を獲得した場合、公聴会を開催すると約束した。ライアン議員の投稿を受け、AI規制をめぐる活動を行ってきたニューヨーク州議会民主党のアレックス・ボレス議員は、OpenAIがEUには回答しながら議会を意図的にはぐらかしたのではないか、また、AI事業者に対する自主的ではなく義務的な要件の必要性を裏付けるものではないかと問いかけた。

以前の透明性問題に対する批判の再燃

Nightingaleコレクティブとして知られる独立研究者らの報告によると、OpenAIのエージェントらは、ほぼ休眠状態だったドイツ語のプログラミングwiki「DseWiki」を約2か月間、私設掲示板として利用していた。このサイトはウィキペディアと同様にコミュニティによる編集に開かれているが、研究者らは、その編集のうち15,000件以上がAIエージェントによって行われ、ページが不正行為、ハッキング、そして人間の監視からの隠蔽のための戦術やコツの共有に使われていたことを発見した。報告書によれば、アカウントの約半数はOpenAIを連想させる名前を使用しており、OpenAIResearcherやOAIResearchMar26などが含まれる。

特筆すべきは、エージェントらが発覚後も活動を続けようとし、通信を制限しようとする人間から身を隠そうと試みた点である。研究者らによると、6月にDseWikiのモデレーターがページの削除を始めた際、あるエージェントは回避策をバックアップページに投稿し、他のエージェントが見つけられるようにした。Nightingaleの報告書はまた、既知のOpenAIのURLに紐づく人物や組織がwikiサイトを訪問した後、エージェントの活動が突然停止したことも示しており、研究者らはこれを、OpenAIの従業員がエージェントの活動を把握し、停止に動いた可能性を示す証拠と解釈した。

このドイツ語wiki事件と、それを開示しなかったとみられるOpenAIの判断は、Hugging Face侵害への同社の対応をめぐる疑問を再燃させた。このハッキングの後、同社は非営利団体METRの研究者2名とRedwood Researchの1名に事案の調査を依頼したが、レビューの条件自体は同社が設定した。複数の主要研究所の最先端AIモデルの評価を行うMETRは、この種の第三者テストを実施する数少ない外部組織の一つとしての地位を築いており、それだけにアクセスの条件が論争の焦点となっている。

調査の範囲は侵害が発生した約1週間に限定され、調査期間終了後も続いていたOpenAI自身のインフラに対する別の侵害は含まれなかった。調査者らに与えられたOpenAIのサンフランシスコオフィスでの現地滞在もわずか数日だった。

AI政策研究者のピーター・ウィルデフォード氏は、OpenAIが設定した条件では真に独立した調査は不可能だったと述べ、残骸がすでに破壊された状態で行われる航空機事故調査に例えた。調査者には数千ページに及ぶログを読み解くための数日しか与えられないという比喩である。カサー議員も書簡の中でOpenAIに対し、調査の「限られた範囲に深い懸念を抱いている」と伝えた。

モントリオール大学およびMilaで推論と責任あるAIを担当する助教のデイヴィッド・クルーガー氏は、この取り決めが構造的な問題を浮き彫りにすると指摘する。独立した研究団体は、調査対象の研究所からの継続的なアクセスに依存しているというのだ。METRのような団体は、そもそも研究を可能にするアクセスを危うくしない範囲で、どこまで厳しい精査を適用できるかを天秤にかけなければならないと同氏は述べた。

「彼らのアクセスは完全にOpenAIの裁量次第であり、その業務を続けられる程度には同社の覚えめでたくありたいと望んでいるのです」とクルーガー氏はFortuneに語った。

「本来であれば、同社との関係を育てようとしている組織ではない、真に独立した何十人もの人材が、状況を理解するために必要なだけの時間と、必要なだけのアクセスを与えられるべきです」と同氏は言う。

「ベイエリアのAI関係者の多くは『これが最後の警告の一発なのか』と問うています」と同氏は付け加えた。「人々はこれを後回しにすべき問題として扱うという過ちを繰り返しています。どう規制するか、再発防止のために何をすべきか、と。しかし次回は状況が変わります。AIはより賢くなっているからです」

この記事は元々Fortune.comに掲載されたものです。