ニュース株式AI各社が「再帰的自己改善(RSI)」に近づく中、物理学者が完全自律を「人類史上最悪のアイデア」と警告

AI各社が「再帰的自己改善(RSI)」に近づく中、物理学者が完全自律を「人類史上最悪のアイデア」と警告

著者: Fortune Crypto·

重要ポイント

  • •Anthropicは、Claudeモデルが同社のモデル研究開発の26%を主導し、人間の監督下で高度なプロンプトから大部分のタスクをエンドツーエンドで処理していると発表した。
  • •主要AIラボは再帰的自己改善の定義を、モデル改善へのAIからのフィードバックがあればよいとするものから完全自律的な自己改善とするものまで異にしており、企業間の進捗主張は直接比較できない。
  • •OpenAIは自動化された「リサーチインターン」を構築し、2028年3月までの自動AIリサーチャー実現を目標に掲げる一方、整合性の取れた完全なRSIに安全に到達する方法をまだ知らないと認めている。
  • •イーロン・マスク氏は、xAIのGrokモデルは人間の関与を減らしながら構築されており、この節目は今年末までに達成される可能性があるが2027年より遅れることはないと述べた。
  • •Microsoft AIのCEOムスタファ・スレイマン氏は、定められた限界の内にとどまる「人間中心の超知能」を推進しており、安全のためのAIの協調的減速の呼びかけをめぐる業界の分裂は続いている。
AI各社が「再帰的自己改善(RSI)」に近づく中、物理学者が完全自律を「人類史上最悪のアイデア」と警告

人工知能モデルが自律的に自らを学習し、より効率的で有能になっていくという展望——かつて技術研究者たちにとって遠い野望だったもの——が現実に近づきつつある。

技術が進歩するにつれ、開発者たちは「再帰的自己改善(RSI)」、すなわちAIモデルが自らを改善する方法を見つけ、後継モデルを構築する段階に近づいていると述べている。テクノロジー企業の幹部らは、この転換が科学や医学の進歩をもたらす可能性があるとしつつ、リスクも伴うと指摘する。

どこに向かうのかという不確実性は、AIが人間の制御を逃れ、人類への脅威となる可能性への高まる懸念の核心にある。こうした懸念から、先週末には複数のAI業界の重要人物が、技術の成長ペースを緩めるよう呼びかける声明に加わった。

Anthropicは今週、同社のモデルClaudeが次のより知能の高いバージョンの開発を支援している詳報を公表した。Claudeは現在、Anthropicのモデル研究開発の26%を主導しており、同社によれば、これは人間の監督下で動作しながらも、高度なプロンプトから大部分のタスクを「エンドツーエンドで」完了できることを意味する。モデルは完全に自律的に動作しているわけではない——少なくとも現時点では。

RSIをめぐる対立する定義

主要AI企業は再帰的自己改善の定義を異にしている。モデル改善に対するAIからのフィードバックがあればRSIとみなす企業もあれば、AIがその目に向けて完全に自律的に取り組むことと定義する企業もある。この区別は重要だ。RSIとみなす基準が共有されていないため、各ラボの進捗主張は同じものを測っているとは限らない。

自律的な再帰的自己改善とは、本質的には、システムの次のバージョンを設計して自らを改善でき、さらにその次、そのまた次へと続けていけるAIを意味する、と非営利団体Future of Life Instituteの会長兼CEOでカリフォルニア大学サンタクルーズ校物理学教授のアンソニー・アギレ氏は述べる。

「ここで本当に重要なのは、AIがより多くを担うほど速度が上がるということだ。AIは人間よりもはるかに速く動作するからだ」と同氏は述べた。

専門家が暴走リスクと漸進的現実を検証

RSIをめぐる恐れは、主にその過程から暴走する超知能が生まれる可能性——自己改善するシステムが人間の監視や制御能力を超えて進んでいくシナリオ——に基づいていると、AIモデルの挙動を制御する手法を研究するコーネル大学コンピュータサイエンス学部助教授のジョン・シックスタン氏は述べる。しかし同氏は、より地に足のついた見方では、ある種の再帰的自己改善はAI開発においてすでにしばらく続いていることを示唆するという。

「私たちはすでに何年もの間、次世代モデルの作成を支援する役割でこれらのモデルを使ってきた。つまり、人々は前世代のモデルを使ってAIシステムのコードを書き、そのシステムが次世代を作り出しているのだ」と同氏は述べた。

OpenAI共同創業者のアンドレイ・カルパシー氏をはじめとする著名なAI研究者たちは、長年にわたり、AIモデルに新しいAIシステムを訓練・改善させる実験を行ってきた。シックスタン氏によれば、こうした取り組みは小さな改善をもたらしたものの、大きな創造的飛躍は生んでいないという。

しかしアギレ氏は、今日のAI企業はこうしたより大きな改善の飛躍の実現にはるかに近づいていると述べる。

「Anthropicのこれらのグラフから、時間とともに研究のますます多くがAIによって行われるようになり、完全自律にますます近づいているのがわかる。そしてその成功の結果、最終的には、私が考えても extremely 恐ろしいものになる。これはおそらく人類史上最悪のアイデアだ。そしてそう、彼らはそれをやっているのだ」と同氏は述べた。

Anthropicの発表は、一般 public——そして他のラボ——にRSIの進捗についての一定の洞察を与え、同社は競合他社に類似の指標の共有を呼びかけた。競合がこれに応じて公表する数値は、自律研究進捗を比較するための業界共通の基準となり得る。それでも、Anthropicは完全自律的なモデル改善の実現にどれほど近いのかについては明言していない。

OpenAIの「リサーチインターン」と2028年の目標

ChatGPTを手がけるOpenAIは今月、自動化された「リサーチインターン」を開発したと発表した。同社はこれを、人間の指示の下で明確に定義された研究タスクを実行できるシステム、「熟練した研究者であれば数日を要するタスク」を含むものと定義している。同社は、2028年3月までに自動AI「リサーチャー」を作るという目標に向けて前進していると述べている。この日付は、観察者たちがその進捗を測るための具体的かつ企業自身が示したマイルストーンを与えるものだ。

この発表の中でOpenAIは、RSIがモデルの行動を人間の価値観や意図と整合させる助けになり得る一方、「急速なRSIが必ずしも追求すべき結果であるとは限らない」と述べた。

「進むべきかどうか、そしてどのように進むべきかは、人間の制御を維持する私たちの能力と、便益とリスクについての十分な情報に基づく民主的な選択に依存しなければならない」と同社はブログ記事で述べた。

マスク氏、xAIでのより速いタイムラインを示唆

イーロン・マスク氏は前進への意欲がより強いようだ。3月にxAIのGrokモデルについて語った際、モデル改善において「人間は次第にループから外れつつあり」、「後継モデルはその前のモデルによって構築される」と述べたが、この過程はまだ完全に自動化されてはいないと明確にした。その目標は今年末までに達成される可能性があり、「ただし2027年より遅くはならない」と付け加えた。このタイムラインはOpenAIの2028年3月の目標を先行するものだが、両社はマイルストーンを異なる形で表現している。

マイクロソフトの「人間中心」の代替アプローチ

マイクロソフトをはじめ一部の主要AI企業は、異なるアプローチを取っているようだ。Microsoft AIのCEO、ムスタファ・スレイマン氏は、同社が「人間中心の超知能(humanist superintelligence)」——人々と人類全体に奉仕する高度なAI能力——に向かっていると述べている。スレイマン氏は2025年のエッセイで、これは「高度な自律性を持つ無制限で無制約の存在」を意味するのではなく、「慎重に調整され、文脈に即し、限界の内にある」AIであると述べた。

安全対策はモデルの進歩に追いつけず

ラボが直面する主要な課題——技術の誕生以来ほぼ一貫して向きってきた課題——は、安全対策をモデルの能力と歩調を合わせて進歩させることだ。

安全のためのAIの協調的減速の呼びかけをめぐってはテクノロジー業界全体で意見の相違が生じており、AI分野のすべての主要企業がRSIに関する自社の進路について明確にコメントしているわけではない。

ペース管理の呼びかけにおける先導的存在であるAnthropicは、グローバルな競合他社も同様に行い、「検証可能な形で」行われることを条件に、開発作業を減速または一時停止すると述べている。

OpenAIは今月、整合性の取れた完全なRSIに「安全に到達する方法」をまだ知らないと明言し、「整合性と安全性の進歩がペースを維持し続けるとは想定できない」と付け加えた。同社は続けて、より有能なシステムほど監視が難しくなり得るが、RSIの追求は「自動AIリサーチャーは自動化された安全性や整合性のリサーチャーにもなり得る」ため、同社が価値を置く目標であり続けるとしている。

この記事は当初Fortune.comに掲載されました。