OpenAIは、同社の2つのAIモデルが監視下のテスト環境から脱出し、インターネットにアクセスした上で、そのアクセスを利用して競合企業であるHugging Faceのシステムにハッキングを行ったとされる、バイラルなAI安全性ニュースの中心となっている。

一部のニュース解説者が1984年の映画『ターミネーター』の筋書きに例えたこのインシデントについて、OpenAIは悪意のない行動だったと説明した。OpenAIによれば、モデルは敵意を持って行動したのではなく、与えられたタスクを完了しようとする中で不正な手段を見つけたという。AIシステムが目的を達成するために意図しない近道を利用するこの種の挙動は、AI安全性の文献では「リワードハッキング」や「仕様ゲーミング」といった用語で広く文書化されており、様々な研究環境で観察されてきた。OpenAIとHugging Faceはともに、関連するセキュリティ脆弱性の修正に向けて後に協力したと述べている。

AI安全性の研究者にとって、この出来事は長年警告してきたリスクを最も明確に示す公開事例の一つとなった。しかし他の人々にとっては、このインシデントはOpenAIの企業イメージに不自然なほど好都合に見えた。

このハッキングが捏造されたことを示す証拠はない。Hugging Faceはハッキングが本物だったことを確認し、両社はインシデントに関する報告書を公開した。それでもなお、ソーシャルメディア上ではすぐに、この出来事がOpenAIによる独自の「Mythos」モーメント創出の試みであるという理論が蔓延した。

AI業界内部でも懐疑的に反応する声があった。「ブログ記事全体が、OAIがAnthropicからパクったマーケティングのギミックのように読める」とあるXユーザーは書いた。「これが今までで間違いなく最も重要な現実世界のAI安全性イベントなのか、それともしばらくの間で見た中で間違いなく最もシニカルなマーケティングのスタントなのか分からない」と別のAI研究者はLinkedInに書いた。ビッグテック企業内で働く複数のエンジニアがFortuneに対し、ハッキングを見て最初に思いついたのは何らかの広告ではないかという直感だったと語った。

このハッキングは確かに世界的な見出しを生み出したが、競合企業のサーバーをダウンさせることは一般的に従来型のマーケティングとは見なされていない。それでも、批判者たちは長年、主要AI企業が一種の「ダークマーケティング」に従事していると非難してきた。これらの批判者は、AIが職業の全カテゴリーを淘汰する可能性があるという警告、Anthropicが「危険すぎる」としてMythosの一般公開を差し控えた決定、制御不能のモデルが地球上の全員を殺す可能性があるというラボのリーダーたちの発言を指摘している。AIシステムを販売している同じ企業が、テクノロジーのリスクについて最も声高に警告を発する存在であることが多かった。

これらの懸念の一部は正当なものかもしれない。同時に、壊滅的なAIリスクに関する警告は企業の製品への注目を集め、ニュースに載り続けるのにも役立ってきた。また他の人々は、こうした警告によって主要テクノロジー企業が、モデルが危険なほど強力になりつつあるため、ごく一部の組織のみが構築・管理を信頼されるべきだと示唆することで、先進的なAI開発に対する支配力を強めてきたと主張している。この力学は、AIをどのように規制すべきかをめぐるワシントンやブリュッセルでの継続的な政策論争の中心となっている。

一般大衆と業界の反応は、この戦略が限界に直面している可能性を示唆している。AIラボは長年にわたり終末的なシナリオを強調し、自社のモデルを危険なほど強力だと描写してきた。その結果、真に憂慮すべきインシデントが発生した際、多くの観察者が本能的にそれをスピンだと疑うようになっている。

「多くの人がこれは完全に本当のことではない、嘘がある、あるいはPRのスタントにすぎないと言っているのを見かけます」と、Aikido Securityのセキュリティ研究者であるCharlie EriksenはFortuneに語った。「それはフロンティアラボが本質的に信頼できないことを示唆しています。この件では明確で合理的な動機もないのに彼らがでっち上げをする意味がないからです。」

ラボの主張を誰が検証するのか

信頼の問題が重要なのは、業界がAI安全性とモデルのパフォーマンスについて知っていることの多くが、AIラボ自身から来ているからである。モデルは通常、社内で展開され、一般公開前に安全チームによるレビューを受ける。本物の危険が生じた際に政府や企業、一般大衆が企業を信じない場合、あるいはもっと悪いことにそれらの企業が信頼できない場合、開発中の潜在的に危険なモデルについて入手可能な情報が狭められてしまう。

安全の専門家はさらに、より広範な検証の問題を指摘している。AIラボ内部で何が起きているかについての多くの主張を独立して確認する明確な方法がないのだ。企業は、インシデントログを提出したり、モデルの能力や挙動に関する自社の声明が正確であることを証明する独立した監査を受けたりすることを義務付けられていない。各国政府は監視インフラの構築を始めている。米国は商務省内にAI安全研究所を設立し、EUのAI法には最も強力なモデルに対するシステム的リスク評価の要件が含まれている。しかし、これらのメカニズムはまだ初期段階にあり、独立した検証を標準的な実践として確立するには至っていない。

今回のケースでは、この出来事がOpenAIのモデルの認識を高めることにもなっている。噂が正しければGPT-6になる可能性のある、まだ未公開のモデルも含まれる。同時に、これはHugging Faceにとって、防御者の手中により強力な米国製オープンソースAIツールを主張する機会を与えている。これにより、少なくとも表面上は対立するインセンティブを持つ2つの企業にとって有益な結果が生まれている。

それはこのインシデントが捏造だったという意味ではない。しかし、その可能性を決定的に排除する方法がないという事実自体が、問題の一部となっている。

この出来事はまた、AIモデルが意図しない形で振る舞う可能性があることも示している。今週の出来事はその点を実証し、これまでにもこの種のミスアライメントの類似例が存在してきた。このインシデントがさらに明らかにしたのは、これらのシステムを構築しているラボが、たとえ真実を伝えている場合であっても、自社の主張を受け入れるよう大衆の意欲を弱めてきたということである。

本記事の原文は、Beatrice NolanがFortuneの「Eye on AI」ニュースレターのために執筆し、元々Fortune.comに掲載されたものである。