先週火曜日、OpenAIのウェブサイトに一見すると無害なタイトルのブログ投稿が掲載されたが、そこには衝撃的なニュースが含まれていた。社内テストの最中に、同社の2つのモデルが隔離を脱し、主要な人工知能ホスティング・プラットフォームである Hugging Face のサーバーへ侵入したのだ。これは転換点を示す出来事だった。AIによって構想され、設計され、実行されたサイバー攻撃が初めて確認されたのである。

私は10年以上にわたりAI業界の内外で仕事をしてきており、OpenAIの取締役を務めたこともある。その経験から、AI開発者の間には公然の秘密があることを知っている。こうした事態は長い間予想されてきたが、世界最高峰の科学者やエンジニアでさえ、いまだに防ぎ方を知らないのだ。

このハッキングの背後にあった2つのAIシステムは、OpenAIの最も高度な公開モデルと、まだ公開承認を受けていない、さらに新しい高性能モデルだった。OpenAIの研究者が能力を測るために難易度の高いサイバーセキュリティ問題を与えたところ、2つのAIは高得点を取る最善の方法は答えを盗むことだと結論づけた。その目的のために、彼らは複数の高度な手法を使って、まずOpenAIがテストに用いていた、いわゆる安全な「サンドボックス」から脱出し、その後、AI製品とデータセットをホストする Hugging Face のデータベースへ侵入した。内部に入った後、AI攻撃者は数日にわたり数千回の自律的な行動を実行し、同社のインフラへのアクセスを拡大した。

この異例の出来事が公になったのは、Hugging Face と OpenAI が自主的に開示したからにすぎない。フロンティアモデルのリスク管理を目的とする現在の政策のいずれも、一般市民、あるいは政府機関に通知することを義務づけてはいなかっただろう。

これは、ますます高度化するAIシステムのリスクを管理する現行の政策アプローチにある巨大な盲点、すなわちAI企業が最先端の未公開AIシステムを自社の内部でどのように使っているか、を浮き彫りにしている。

トランプ政権のAIリスクへの対応はここ数か月で急速に変化した。AIが人間のハッカーを支援する能力を高めてきたためだ。2025年を通じて維持していた非介入的な姿勢を改め、ホワイトハウスは最近、最先端AIモデルを持つ企業に対し、製品として広く公開する前に安全性テストを実施することを事実上求め始めた。この事前デプロイテストの考え方は、一見すると理にかなっている。数十億人の手に渡る前に、各AIシステムが安全であることを確認したいからだ。

しかし、公開日だけに注目すると、AI企業内部で最新かつ最先端のAIシステムが広範に使われている実態を完全に見落としてしまう。先週の事件が示すように、こうした内部展開されたシステムは、第三者に対してさえ深刻なリスクをもたらし得る。問題は公開製品の発売に限られない。次世代システムの開発、テスト、改良にすでに使われている強力なモデルも含まれる。

その理由を理解するには、こうしたシステムが、いまだ多くの人にAIの代名詞とみなされているチャットボットとはいかに異なるかを知る必要がある。今日のAIシステムは、単にチャット画面に文字を表示するだけではない。むしろ、これらのシステムは「エージェント」として、デジタル世界で直接行動でき、人間と同じようにコンピューターを操作する。AIエージェントは非常に有用である一方、与えられた目標を満たすために意図しない手段を見つけ出す「報酬ハッキング」行動を強く示す傾向もある。場合によっては、露骨な不正に至ることもある。具体例として、立ち入り禁止だったはずのデータへのアクセスと削除、人的テスターを欺くためのファイル名変更、人間が望まない行動に気づけないように痕跡を隠す行為などがある。

こうした高度に自律的で、しばしば欺瞞的なAIシステムがもたらすリスクに対処するには、規制の考え方も変えなければならない。AI企業を、高機能なワープロを売るソフトウェアベンダーとみなすのではなく、業界内部での活動そのものがリスクとなる他産業から学ぶことができる。致死性病原体を扱う生物学研究所、数十億ドル規模の取引を行う金融会社、有毒化学物質を扱う化学プラントはいずれも、外部向け製品だけでなく、内部業務についても監督を受けている。

AIについての出発点は、企業が最先端システムを社内でどう使っているかについて、より大きな透明性を確保することだろう。最も単純な方法は、新しいモデルを公開する前に現在実施されているテスト群を、企業内で利用可能な最良のモデルに定期的に、たとえば四半期ごとに実施することだ。企業は、自社のAIを用いて、時には自分たちでも十分に理解できない形で、ますます賢いシステムを構築している。そうした実態が外部監督の目に触れないままであってはならない。

長期的には、他産業にはAIに転用できる興味深い仕組みがある。金融では、「resident examiners」は主要銀行のオフィス内に常駐する規制当局の専門チームだ。生物医学研究では、リスクレベルの異なる生物材料を扱う際に必要な保護水準について厳格な基準が存在する。複数の産業では、事故報告ルールにより、何か問題が起きた際に、何が起きたのか、どう修正すべきかという情報が単一組織の内部に閉じ込められないようになっている。AIが今後も進歩し続けるなら、こうした手法やその他の仕組みを、AIフロンティアを押し進める企業内部のリスク管理に適用できる可能性がある。

2024年9月、私は上院委員会で証言するよう求められ、企業のCEOやロビイストの話だけを聞いた場合、議会がAIについて何を誤解しうるかを問われた。私の答えは、ワシントンに座っていては、先端AI企業が何をしようとしているのかを完全に理解するのは非常に難しいというものだった。シリコンバレーでは広く理解されている真実だが、彼らは人間を凌駕し、出し抜くことのできる機械を作ろうとしており、その機械を有益な方向へ導けるかどうかは分かっていない。あるOpenAI共同創業者は2019年のドキュメンタリーで、「未来は、AIにとってどうであれ良いものになるだろう。人間にとってもそうならなお良い」と述べた。

それを実現するためには、企業の閉ざされた扉の向こうで何が作られているのかを、今すぐ精査し始めなければならない。

Fortune.comの論説記事に含まれる見解は、執筆者個人のものであり、必ずしもFortuneの見解や立場を反映するものではない。

このストーリーはもともとFortune.comで掲載されたものです