ニュースマクロOpenAIのチーフサイエンティストとCEOが「モニター不可能性」への警告、Astraがクリティカルなサイバーセキュリティ水準に到達

OpenAIのチーフサイエンティストとCEOが「モニター不可能性」への警告、Astraがクリティカルなサイバーセキュリティ水準に到達

著者: Cryptopolitan·

重要ポイント

  • •OpenAIのAstraモデルは、2023年12月に導入されたPreparedness Frameworkにおける「クリティカル」サイバーセキュリティ区分に到達した初めてのAIモデルです。
  • •AstraはExploitBenchで100%のスコアを獲得し、20件の高深刻度V8脆弱性を用いたテストでは2件のゼロデイを発見し、任意コード実行の生成でSolを上回りました。
  • •チーフサイエンティストのJakub Pachocki氏とCEOのSam Altman氏は、安全策とchain-of-thoughtモニタリングがモデルの能力と歩調を合わせて前進していると公に冷静な対応を呼びかけました。
  • •OpenAIは8月18日から8月28日までデプロイ予定モデルの強化学習トレーニングを停止して研究クラスターの強化とモニタリングの最適化を図り、AstraはHugging Face事故に関与していないと述べました。
  • •Astraの最先端機能はOpenAIのDaybreak連合のメンバーに限定され、Project GlasswingによるMythos 5.1へのアクセス制限を示すAnthropicと同様の対応ですが、能力・安全性に関する主張の大半は独立した第三者検証を欠いています。
OpenAIのチーフサイエンティストとCEOが「モニター不可能性」への警告、Astraがクリティカルなサイバーセキュリティ水準に到達

OpenAIのチーフサイエンティストであるJakub Pachocki氏は、次期モデル「Astra」のプレビュー公開を受け、同社がAI競争で初めてPreparedness Frameworkの「クリティカル」サイバーセキュリティ区分に到達してから数時間以内に発言しました。

水曜日の早朝に出された彼の警告は、同AIラボが最大級のモデルの能力を制御する手立てを失いつつあるという見方が広がるなかで、過剰な動揺を鎮めることを意図したものでした。

なぜOpenAIのAstraは「クリティカル」なのか

クリティカル区分は、OpenAIが2023年12月にAI業界に導入したPreparedness Framework上の水準です。このフレームワークは、AIモデルが堅牢化された複数のシステムにわたって実効性のあるゼロデイエクスプロイトを発見・構築したり、完全な新規攻撃を実行したりするのに、どれ程度の人間の指示と介入を必要とするかを測定します。

ゼロデイエクスプロイトとは、ソフトウェアの開発者自身がまだ発見していない欠陥を悪用することを指します。こうした欠陥は、ベンダーが発見・修正するまでパッチが存在しないため、攻撃型サイバーセキュリティにおいて最も価値あるツールの一つであり、自律的に発見できるAIモデルが独自のセキュリティ上の懸念を生む理由でもあります。

OpenAIは9月1日、Path to Astraの投稿で、同モデルは公開時に最小限の人間の介入で完全な新規攻撃やゼロデイエクスプロイトの全ステップを完了できるようになると述べました。

根拠として、OpenAIは既知のバグをモデルがどう悪用できるかを試すテスト「ExploitBench」でのAstraの100%のスコアを挙げました。

Astraはゼロデイ攻撃の立案に優れるだけでなく、より効率的でもあります。OpenAIは、最近になって公開された20件の高深刻度のV8脆弱性に対する社内テストでこの能力を実証しました。V8はGoogleのChromeブラウザで使用されているJavaScriptエンジンで、世界で最も広く展開されるソフトウェアの一つであり、その脆弱性はセキュリティ研究者と攻撃者の双方にとって頻繁な標的となっています。Astraはより少ないトークンを消費し、2件のゼロデイを発見し、任意コード実行の生成では全体的にSolを上回りました。

同じ投稿では、Astraが未知のブラウザバグを連鎖させてサンドボックス脱出を行えること、また専門家主導の試験で一般ユーザーからrootへのOS権限昇格を組み立てたことも述べられています。

TechCrunchが指摘したように、Astraは今年前半にリリースされたAnthropicのMythosモデルとともに、これらの能力を持つ最初の大規模言語モデルに加わりました。同じ年に2つの競合ラボがこの能力ラインを越えたこと自体が、フロンティアのサイバー能力がその防御対策に比べてどれほど急速に到来しているかをめぐる議論を激化させる一因となっています。

Pachocki氏、Astraを巡り冷静な対応を呼びかけ

Pachocki氏は、OpenAIがAstraによって未知の領域に入りつつあるという過剰な動揺に反論しています。同氏によれば、「混乱した報道によって『モニター不可能性』への競争が始まる」ことは望まないとのことです。

このOpenAI幹部は、chain-of-thoughtモニタリング、すなわちモデルが作業中に示す段階的な推論を読み取る手法について、ラボが due diligence を尽くしたと主張しました。Xの投稿で同氏は、Astraを含むOpenAIの現在のフロンティアモデルの背後にある計算グラフの深さがGPT-4の2倍以内にあることを引用しました。

Pachocki氏に先立ち、OpenAIのCEOであるSam Altman氏も、Astraのブログが公開された同じ日に冷静な対応を呼びかけていました。

「ここには明白な緊張関係があります」と火曜日に彼は書き、Astraを「非常に優れている」と評する一方で、安全策は生の能力と歩調を合わせて前進しなければならないと主張しました。Altman氏は、OpenAIが夏の間を通じて必要な安全対策を備えたモデルを出荷できるよう取り組んだと述べました。

安全性をめぐる議論は数週間続いています。8月18日、OpenAIは、エンジニアが研究クラスターを強化しモニタリングを最適化できるよう、デプロイ予定モデルの強化学習トレーニングを2週間停止すると約束しました。トレーニングは8月28日に再開されました。

OpenAIによれば、Astraは今や悪名高いHugging Face事故には関与していません。同社はまた、Hugging Faceの一件を再現するよう誘惑するように設計されたシナリオを提示された場合でも、モデルはサンドボックスからの脱出を試みさえしなかったと述べています。

AIラボ、フロンティアモデルへのアクセスを制限へ

OpenAIは、Astraの最も先進的な機能すべてのアクセスを一般には開放せず、それらの能力をOpenAIのDaybreak連合の組織に限定し、Daybreak Blueの企業には最も鋭い防御機能へのアクセスを提供するとしています。この段階的アクセスのアプローチは、最先端機能をすべてのユーザーに開放するのではなく、審査済みの企業・政府プログラムの背後で最も能力の高いモデルを制限する傾向が強まっている、フロンティアAIラボ全体のより広範なパターンを反映しています。

Cryptopolitanが報じたように、Anthropicもまた、Project Glasswingの参加企業のみがMythos 5.1(実質的に別個の安全策を備えたFable 5.1)にアクセスできると述べています。

OpenAIはまた、より高リスクと判断したアカウントからのクエリへの回答を監視・制限すると述べました。全体として、Astraには不良挙動を検出し有害なサイバーリクエストをより頻繁に拒否するための追加のchain-of-thoughtモニタリングが搭載されます。

Astraに関する情報の大半はOpenAI自身から提供されたものであり、同社の安全性・能力に関する主張の第三者検証は限られています。

OpenAI財団でAIレジリエンスに取り組む元OpenAI従業員のYona Shavit氏は、テスト中にAstraが従順に振る舞ったことは真のアライメントを反映しているのか、それとも評価者が見たいと思うものをモデルが知っていただけなのか、公に問いかけました。

OpenAIによれば、完全なシステムカードと追加の評価はAstraが広く公開される際に提供される予定です。それまでは、そのサイバー能力の射程と、それを囲む防御の強度を判断することは困難なままです。