AI安全性の専門家たちは、OpenAIが間もなく公開するフロンティアAIモデル「Astra」の構築方法に対して警鐘を鳴らしており、このアプローチにより、人間がAIエージェントの推論を監視する能力を失う日が早まる可能性があると述べている。

OpenAIはこの新モデルで、モデル内部のアーキテクチャの一部に「リカレントデプス（recurrent depth）」または「ループトランスフォーマー」とも呼ばれる手法を採用した。この手法は、各プロンプトの処理に必要な計算能力を削減することで、AIモデルの効率を大幅に高めることができる。最先端のフロンティアAIモデルの利用コストの高さに多くの企業が不満を漏らす中、これは魅力的な特徴だ。

しかし、この新しいプロセスは、モデルの「思考の連鎖（チェーン・オブ・ソート）」——つまりモデルがたどる推論ステップ——の一部が自然言語で表現されないことも意味し、モデルが何を、なぜ行っているのかを人間が監視することが格段に難しくなる。チェーン・オブ・ソートの監視は現在、AIエージェントが意図しない、または許可されていない行動を取っていないことを確認するために企業が用いる主要な手法のひとつであり、OpenAI、Anthropic、Google DeepMindをはじめとする主要研究所の研究者が、モデルの目に見える推論が実際に内部の計算を反映しているかを研究するAI解釈可能性分野の中心的な焦点となっている。研究者たちは、チェーン・オブ・ソートのテキストがモデルの真の内部プロセスに対して常に「忠実」であるとは限らないと警告しており、読み取り可能な推論の痕跡を保全することの価値は安全性チームにとって特に大きい。

科技メディアのThe Informationが最初に報じたところによると、OpenAIによるAstraでのリカレントデプスの使用は今週初めに明らかになった。OpenAIのチーフサイエンティスト、ヤクブ・パチョキ氏をはじめ複数のOpenAI研究者は、同報道がAI安全性研究者の間で過度な警戒を招いたとして批判し、同社はモデルの推論の可読性を維持するため、ループトランスフォーマー・アーキテクチャの使用範囲を制限していると述べた。

The Informationの報道への対応として、パチョキ氏はXに投稿し、チェーン・オブ・ソートの監視について「深く関心を持っている」こと、そして「OpenAIは最初の推論モデル以来、チェーン・オブ・ソートの監視を維持・活用するよう取り組んできた」と述べた。同氏は、Astraのアーキテクチャの詳細について今後さらに共有する予定だと語った。

パチョキ氏はまた、チェーン・オブ・ソートの監視はより困難になる可能性があると考えつつも、それはOpenAIがリカレントデプスで導入を始めたような「アーキテクチャの変更に依存しない理由」によるものだと付け加えた。「しかし、それを強化するためにできることはあり、それは現在の研究プログラムの中核的な目標です」と同氏は書いた。

パチョキ氏の声明に先立ち、OpenAIの元安全性研究者で、AI安全性のベンチマークと標準に取り組む非営利団体Guidelight AI Standardsを現在率いるスティーブン・アドラー氏は、Xに投稿し、The Informationの報道が正しければ、「OpenAIはAI業界に存在する数少ないレッドラインのひとつに違反しているように見える」と述べた。

AIが米国人にもたらす影響への備えを支援する政策の推進を使命とするワシントンD.C.のシンクタンク、AI Policy Networkの政策ディレクター、ピーター・ウィルデフォード氏はFortuneに対し、OpenAIによるリカレントデプスの使用は「潜在的に非常に懸念される」ものであり「潜在的に無謀」だと述べた。同氏は、OpenAIおよび外部のAI評価企業が、OpenAIの複数のAIモデルが自律的にHugging Face社を攻撃した7月の incidentで何が起きたかを解明できた唯一の方法のひとつが、モデルのチェーン・オブ・ソートを読むことだったと指摘した。OpenAIはまた、将来のローグAI事故の防止に向けた取り組みの一環として、リアルタイムのチェーン・オブ・ソート監視に多大なリソースを投資していると表明している。「OpenAIが実際にここから離れつつあるなら、それは誤った方向です」と同氏は述べた。

複数のAI安全性専門家が、OpenAIによるAstraでのループトランスフォーマーの使用に懸念を示したのは、必ずしもAstra自体の推論の監視が難しくなるからではない。むしろ、この決定が同手法を常態化させ、他のAI企業が追従して拡大する前例を作り、最終的に推論ステップが人間にとって完全に不透明なAIモデルを生み出すことになると恐れているためだ。

OpenAIの元ガバナンス研究者で、先進的なAIの潜在的影響の予測を使命とする非営利研究組織AI Futures Projectを現在率いるダニエル・ココタイロ氏は、パチョキ氏に応答し、「たとえOpenAIが（モデルのチェーン・オブ・ソートの可読性を低下させるアーキテクチャの使用について）これ以上進まなくても、他社が進むかもしれない」と述べた。

ココタイロ氏はパチョキ氏に対し、チェーン・オブ・ソートの監視可能性に関する業界横断的な標準づくりを主導するよう促し、「崩壊への滑り止めるか、さらには頂点を目指して競争するか、どちらにせよ必要なのは政治的意思だけではなく、思慮深い技術仕様です」と述べた。こうした共通の技術標準を求める声は、研究所、標準化団体、第三者評価機関がモデルの安全性と透明性に関するベンチマークを開発してきたAI業界全体の取り組みと共鳴するものであり、その作業は監査人がモデルの推論方法に一定のアクセスを持つことに依存している。

通常のTransformerの仕組み

通常のTransformerでは、トークン——大規模言語モデルが処理する情報の単位——は、モデルのニューラルネットワークの下位層から上位層へと順番に渡され、各層が順に数学的演算を適用する。言語モデルでは、このプロセスの最終出力は人間が読めるテキストとなる。推論モデルでは、モデルは答えに至る一連のステップを出力するよう指示され、このテキストはまずスクラッチパッドに書き込まれ、モデルの「チェーン・オブ・ソート」を形成する。この中間テキストは、次のステップを生成するために再びすべての層にフィードバックされ、これを繰り返してモデルが最終的な答えに達し、その答えのテキストを出力する。

より安価だが、より不可解なプロセス

ループTransformerでは、トークンは単一のブロック（実際には複数の異なる層で構成されうるが、ネットワーク全体ではない）に複数回フィードされ、毎回同じ数学的演算が適用される。重要なのは、ブロックの出力がスクラッチパッドに書き込まれることなく、ブロックに再フィードバックされる点だ。したがってこの手法は、ブロックを通過するたびにモデルの推論を表しているにもかかわらず、自然言語の「チェーン・オブ・ソート」を生成しない。AI研究者はこのブロック出力を「ニューラリーズ（neuralese）」と呼ぶことがある。AIモデルは処理・推論できるが、人間には理解できないためだ。モデルの自然言語出力は最終的な答えのみである。

ループTransformerの利点は、毎回同じ数学的演算を使用し、すべてのトークンをネットワークのすべての層に通す必要がないため、一定のサイズのモデルからより高い性能を引き出しつつ、より少ない計算能力で済むことだ。研究によれば、ループTransformerは標準的なものと同等の性能を、50%から90%少ない計算能力で達成できるという。これはコスト面で重要だ。AIの請求額の急増に不満を漏らす企業AI顧客にとって、コストは重要な考慮事項だからである。プロバイダーにとっても重要であり、フロンティアモデルの訓練・運用に必要な計算能力はAI業界最大の費用のひとつとなり、データセンターとカスタムチップへの巨額投資を促している。

モデルのチェーン・オブ・ソートによる推論の一部を覆い隠すことは、モデルの蒸留（distill）——より大きなモデルの出力でより小さなモデルを訓練する手法——を難しくする可能性もある。米国政府と米国のAI企業は、中国のAI企業が、チェーン・オブ・ソートの推論ステップのコピーを含む、フロンティアAIモデルの蒸留キャンペーンを行っていると非難してきた。

ループトランスフォーマーは、AIモデルの効率を高えるために研究者が検討しているいくつかの新しいアーキテクチャのひとつにすぎないが、これらはモデルのチェーン・オブ・ソートの全部または一部を失わせうる。もうひとつの手法がPrefix Slidingで、これは火曜日のFortuneの「Eye on AI」ニュースレターで取り上げられた。この手法は、初期プロンプトと最後の数千個の推論トークンを保持する一方、中間の推論トークンの多くを破棄する。Astraで何が起きるか——そして他の研究所がOpenAIに続くかどうか——は、将来のAIシステムの推論のどれだけが、それを展開する人間に見えるまま残るかを左右するだろう。

Fortune上級記者のベアトリス・ノーランがこの記事の作成に協力した。この記事は元々Fortune.comに掲載された。