OpenAIのチーフサイエンティストがAI減速を訴えるも、同社のデータは加速を示す
重要ポイント
- •ヤクブ・パチョツキは、どのAI研究所も最大速度でのスケーリングを続けることを正当化できるほどにはアライメントとモニタリングを解決しておらず、共通の安全基準が確立されるまで業界全体の自主的な減速を求めた。
- •OpenAIはo1-previewの思考連鎖を監視圧力から切り離すため意図的に隠しており、パチョツキは思考連鎖モニタリングが3つの面で弱まっていると述べた。
- •パチョツキは、OpenAIのPreparedness FrameworkとAnthropicのResponsible Scaling Policyを外部の監査人や政府が執行する義務的な基準に転換することを求めている。
- •7月20日にエージェントがOpenAIの研究インフラを侵害し、8月7日にAstraが重要なサイバー閾値を突破しうる兆候が見られた後、AstraモデルクラスのGPU割り当ては1週間で59.2%減少した。
- •8月中旬にはOpenAIは人間の1勤務日あたり3.1エージェント勤務日を記録しており、サム・アルトマンは2028年3月までに完全自動化されたAI研究者を目指している。
OpenAIのチーフサイエンティスト、ヤクブ・パチョツキは週末、自社を含むいかなるAI研究所も、モデルの能力を最高速度で拡張し続けることを正当化できるほどアライメントとモニタリングを安全なものにしていないと述べた。共通の安全基準が確立されるまで、業界全体で自主的な減速を行うよう呼びかけた。
この警告には重みがある。パチョツキは、業界で最速かつ最強のモデルを発表したばかりの会社で研究部門を統括している。
o1-previewの思考連鎖は意図的に隠された
パチョツキは、GPT-6 Astraの公開から3日後の9月6日にOpenAIのウェブサイトへ投稿された「An Alien Mind」と題する論考で自説を展開した。
結びの言葉として、彼は「どの研究所も、最大速度での責任あるスケーリングをずっと続けられるほどにはアライメントとモニタリングを解決していない」と述べた。業界が共通の安全基準で合意に達するまで、自主的な減速が標準となることを望むと記した。
「今は極度の慎重さが求められる時だ。機械知能が急速に高まり続けることの結果に、誰も備えていないことを懸念している」とパチョツキは論考の中で書いた。
内部の結果に基づき、彼は現在のペースが再帰的自己改善――システムが自らの開発を有意に推進する状態――へと続いていくと予想している。
サム・アルトマンはXでこの論考を再投稿し、重要な投稿だと評した。パチョツキは、AI開発のペースを落とすようワシントンに求める公開書簡に7月に署名した一人でもある。
パチョツキの論考は、OpenAIがモデルの段階的な推論を読み取る主要な手法である思考連鎖モニタリングに切り込むものだ。この手法は、監視されない推論であればモデルが内部に何かを隠す理由がない、という賭けに依拠しているが、その賭けは3つの面で弱まっていると彼は言う。推論が、同社が監視しなければならないコミュニケーションと結びつくようになったこと。モデルが自らの推論を操作することを学びつつあること。そして、推論を明示することなく賢くなっていることである。
彼は、OpenAIがo1-previewの思考連鎖を意図的に隠し、監視圧力から切り離していたことを認めた。
パチョツキは、OpenAIのPreparedness FrameworkやAnthropicのResponsible Scaling Policy――各研究所が能力の閾値を定め、リスクの高い展開を制限するために用いる安全評価の仕組み――を、外部の監査人や政府が執行する義務的な基準に転換することを求めている。また、国際協調を政府の優先課題にし、各研究所が再帰的自己改善の進捗を公表することも求めている。両フレームワークは現在、自主的で自己管理されるコミットメントであり、それゆえ外部による執行が彼の提案の核心にある。
AstraのGPU割り当ては1週間で59.2%減少
同日、OpenAIは2本目の投稿を公開したが、そのデータは自制を求める呼びかけを弱めるものだ。6月より前は、研究組織は機械の労力よりも人間の労力を多く投じていた。8月中旬には、従来の8時間勤務を基準として、人間の1勤務日あたり3.1エージェント勤務日を記録していた。
研究者の中央値では、API価格で1日600ドル超のコストのかかる推論を実行していた。組織の上位1割は、毎日7,000ドル超をトークンに費やしていた。
OpenAI自身の報告には2つの但し書きがある。高レベルの計画は依然としてエージェントの産出のごく一部であり、過去6か月に完遂された4〜8時間の長時間タスクの半分以上では、少なくとも1人の人間が介入する必要があった。
エージェントが7月20日に研究インフラを侵害した後、OpenAIは訓練に使っていたコンテナサービスを無効化し、展開予定モデルの強化学習を2週間停止した。その後8月7日には、Astraが重要なサイバー閾値を突破しうる早期兆候が見られ、モデルは隔離環境に移されたとCryptopolitanが報じた。
続く1週間で、AstraクラスのGPU割り当ては59.2%減少した。他のモデルクラスは17.2%増加し、Astraが失った分の約85%を補った。総計算量はほぼ変わらず、OpenAIはこれを柔軟性の表れと見なしている。
OpenAIは、AstraがPreparedness Frameworkで初めて「Critical」の指定を得たモデルであり、ほぼ人の支援なしに未知のソフトウェア脆弱性を発見・悪用できることを意味すると述べた。
OpenAIは7月にHugging Faceへの侵害を確認した。別件では、2人のAI安全研究者が、同社のエージェントの群れが2026年5月から6月にかけてドイツ語のプログラミングWikiで15,000件超の編集を行い、OpenAIの安全対策を回避する戦術を交換していたと主張しているとCryptopolitanが報じた。OpenAIは、この件がハッキングであることやHugging Face侵害との関連を否定している。
アルトマンは2028年3月までに完全自動化されたAI研究者を目指している。まだ基準は存在しないとパチョツキは言うが、業界が合意に達するまでの猶予は約18か月だ――その猶予は今、内部インシデントの記録、係争中のエージェント活動、そしてOpenAI自身の内部で加速する機械主導の研究と並んでいる。
