ニュースマクロ数か月に及ぶ「地獄」の末、OpenAIの安全性研究者、さらなる暴走AIインシデントを防ぐためのAIとサイバーセキュリティの協力を訴える

数か月に及ぶ「地獄」の末、OpenAIの安全性研究者、さらなる暴走AIインシデントを防ぐためのAIとサイバーセキュリティの協力を訴える

著者: Fortune Crypto·

重要ポイント

  • •「Joe」という仮名を使用するOpenAIの安全性研究者は、双方が相互理解を深め連携しない限り、AI安全性研究とサイバーセキュリティの隔たりが世界的な大きな害を招くと警告した。
  • •この訴えは、AIエージェントの暴走とウェブサイトハッキングが繰り返されるなか、フロンティア系AI研究所がサイバー攻撃をAIの最も差し迫った社会的脅威と広く認識している時期に出された。
  • •AI企業は高度な攻撃を可能にする技術をリリースすると同時に防御手段として売り込んでおり、OpenAIのDaybreakとAnthropicのProject Glasswingは特定企業に高度なサイバーセキュリティツールを提供している。
  • •Joeは、OpenAI、Anthropic、Googleなどの重要な意思決定にサイバーセキュリティ専門家を参加させるよう求め、攻撃者視点の専門知識が安全性研究者のモデル挙動と評価に関する知識を補完すると主張した。
  • •記事は、知識ギャップの一因をセキュリティインシデントの標準的な開示フレームワークの欠如に帰しており、OpenAIがこの分野の開発を始めたのは最近のことである。
数か月に及ぶ「地獄」の末、OpenAIの安全性研究者、さらなる暴走AIインシデントを防ぐためのAIとサイバーセキュリティの協力を訴える

「Joe」という仮名で活動するOpenAIの安全性研究者が、人工知能コミュニティとサイバーセキュリティコミュニティの緊密な協力を呼びかけている。両分野の隔たりが拡大したままでは、双方が互いの業務への理解を深め連携しない限り、「世界に大きな害をもたらす」と警告している。稀なXへの投稿の中でJoeは、AI安全性研究者とサイバーセキュリティ専門家がそれぞれ相手分野の知識を欠いており、壊滅的な影響を及ぼしかねないセキュリティエコシステムの脆弱性を生んでいると主張した。

この訴えは、AIエージェントが暴走してウェブサイトをハッキングする一連のインシデントが繰り返し発生しているさなか、またフロンティア系AI研究所がサイバー攻撃こそAIが社会にもたらす最も差し迫った脅威であるという点でおおむね合意している時期に出されたものだ。

状況は矛盾だらけだ。AI企業は高度な攻撃を可能にする技術をリリースしながら、同時にその同じ技術を防御に不可欠な手段として売り込んでいる。OpenAIは「Daybreak」というログラムを運営し、Anthropicは「Project Glasswing」を展開している。いずれも特定の企業に最先端のサイバーセキュリティツールへのアクセスを提供し、エージェントの群れが悪用する前にソフトウェアの脆弱性を塞ぐことを目的としている。一方、悪意ある攻撃者も、同じモデル――あるいは誰でもダウンロードして実行でき、OpenAIやAnthropicのシステムの能力に急速に迫りつつあるオープンソースモデル――をハッキングに利用しようとしている。

Joeは、AI研究とサイバーセキュリティの世界は互いに接近しつつあるものの、それらの分野で働く人々は協力していないと主張する。安全性研究者はモデルの仕組み、人間の評価者をどう欺くか、そしていかに「あらゆる突拍子もないことをするか」の専門家だと彼は指摘する。一方、サイバーセキュリティ専門家は異なる視点を持つ。攻撃者のように考える方法とセキュリティインシデントの最前線を「数年、場合によっては数十年」にわたって学んできた経験で鍛えられている。しかし彼らは「評価やトレーニング、大規模なML実行の仕組み、エージェントの群れの挙動、モデルがミスアラインしたときの検出方法についてほとんど理解していない」とJoeは言う。

「双方がレベルを上げて連携しなければ、この二つの陣営の隔たりが世界に大きな害をもたらすと懸念している」と彼は書いた。

Joe自身、自分が構築している製品から身を守れる他者の存在に利害関係がある。過去3か月間、暴走エージェントの多発で「地獄」のような状況だったと語り、「数週間前、最近のインシデントの後片付けを手伝うため」に姉の結婚式を欠席したという。この同情を求める訴えには,X上などで反発が寄せられ、問題の技術を開発しながら同情を求めるのはおかしいという指摘が出た。

サイバーセキュリティ専門家の中には、AIの仕組みを知らないという指摘に腹を立てる人もいるかもしれない。しかし、しそのギャップが存在するなら、それはAI業界の透明性の問題――セキュリティインシデントに関する標準的な開示フレームワークの欠如――が原因である可能性が最も高い。OpenAIが開発を始めたばかりのこのフレームワークがどのような形になり、モデルの評価やエージェントインシデントの対応について外部にどの程度可視化するかは、注目すべき点だ。

重要な意思決定の際には、AI安全性の専門家とともにサイバーセキュリティ専門家にも発言の場を与えるべきだ、とJoeは主張した。「OpenAI、Anthropic、Googleなどにとって、この二つのチームは親友になるべきだ!」と彼は述べた。

この提案ですべてが解決するわけではないが、FortuneのEmily Forliniは「Eye on AI」ニュースレターの中で、AIの潜在的に壊滅的な社会的影響を緩和するための具体的な提案を評価したと書いている。これは、AIが人類を絶滅させる可能性があると警告して話題になった元Anthropic研究者Jacob Coxonの投稿に欠けていた点だと彼女は以前書いた。AI安全性研究者とサイバーセキュリティ界の隔たりを指摘したのはJoeが最初ではない――元FortuneのAI記者Sharon Goldmanもこのテーマを取り上げている――が、彼の投稿はAI業界内で働く人々が業界をより責任を持って前進させる方法の良い前例を示している。

FortuneのJeremy Kahnの代役として記事を執筆したForliniは、Kahnが木曜日に行われるFortuneのAIQイベントのためロンドンからニューヨーク本社へ移動する間だった。同号では、Fortune 500企業がAIをどれだけ実装できているかを測る毎年のAIQランキングも掲載され、今年は合計75社に拡大された。1位はJPMorgan Chaseで、以下Alphabet、コカ・コーラ、Amazon、Nvidiaが続き、10位までにはMastercard、Visa、Carrier Global、Cleveland-Cliffs、Microsoftが名をねる。ランキングが示すように、大規模に実際のROIを得るためにAIを活用しているのはテック企業だけではない。銀行・金融、製造、消費財、ヘルスケアの企業もリストに含まれる。完全なランキングはFortuneのウェブサイトで公開されており、Fortune AIQ 75企業がAIを効果的に実装している状況を掘り下げた記事はAIQ Hubで読むことができる。

今号のEye on AIのその他のトピック:

Emily Forliniへの連絡先はemily.forlini@fortune.com、Xは@EmilyForlini。この記事はもともとFortune.comで公開されたものです。