米国のトップAI研究所の指導者たちが、自らが構築しているシステムそのものが人類を危険にさらす可能性があると警告するとき、当然の疑問が生じる。彼らには何の得があるのか。

AP通信に語った専門家、アナリスト、元政府評価担当者によれば、その答えは政治と事業の両面にある可能性があるという。企業らは米中間選挙を前に世論の支持を求めているように見え、同時に、不安定な株式市場で長らく待ち望まれてきた上場——企業が初めて一般投資家に株式を販売する新規株式公開(IPO)——を通じて、研究所と投資家が得るであろう巨額の資金に備えているようだ。

AnthropicとOpenAIの最高経営責任者(CEO)は最近、米国の最先端AIモデルは強力すぎて危険であり、公開前に規制と独立した検証を受ける必要があると宣言した。珍しく足並みを揃えた両氏は、エッセイ、ソーシャルメアへの投稿、国連での演説を通じて、憂慮すべきシナリオを描いてきた。

その過程で、彼らは自社の技術をどのように管理すべきかという議論を形作っている。専門家らによれば、その言説を通じて企業らは世論の支持を求めるとともに、規制のない市場において自社の安全プロトコルの条件を自ら設定しようとしているようだ。

辞任がメッセージの機会に

こうした狙いは、Anthropicのエンジニア、ジェイコブ・コクソン氏が今月、Xへの投稿を通じて退職し、「超人」システム——ほとんどの認知タスクで人間を上回る能力を持つAI——が製造者の管理を逃れないよう技術開発の一時停止を求めた際の思いとは、必ずしも一致しないかもしれない。しかし企業らは、この投稿を自社の安全への取り組みを前面に出し、慎重な市場リーダーとして位置づける機会と捉えた。ちょうどウォール街での上場前に新たな資本を必要としている時期である。

一方、ドナルド・トランプ大統領は新たなAI規制の必要性を退け、人類へのリスクをめぐる議論を中国を利する「HOAX(デマ)」だと一蹴した。

Anthropicの広報担当者は、同社が数年間にわたり規制を求めてきたと述べた。OpenAIの広報担当者リズ・ブルジョア氏は、同社が最近、最先端モデルの訓練を一時停止したと指摘した。

「人々はAIが安全に開発されていることを知りたがっています。それは私たちのような企業が自ら何をするかにかかっています」とブルジョア氏は述べた。

議論の焦点を移す

かつてOpenAIの地政学チームを率いたサラ・ショーカー氏は、実証されていない脅威へと議論を向けさせ、データセンターの環境影響、制御不能なハッキング事件、大規模なAI監視、戦争におけるAIシステムの利用といった対立を招く問題から目を逸らすことで、シリコンバレーはより楽な立場に置かれると述べた。

「またしても存続リスクの話ばかりで、今日実際に存在する数々の安全性に関わる重要なリスクが後回しにされています。軍事技術におけるAIの利用を見れば、こうしたシステムがすでに人を殺すために使われているのが分かります」と、現在はカリフォルニア大学バークレー校リスク&セキュリティ研究所上級非常勤フェローであるショーカー氏は述べた。

AI企業がチャットボットの構築から、3D認識を持つ高度な「ワールドモデル」——単にテキストを生成するのではなく物理環境をシミュレートするよう設計されたシステム——へと移行するにつれ、技術をどう検証すべきかをめぐる議論が激化している。一連の問題のある出来事は、主要AI企業が自らを律することも安全な実験の設計もできていないことを示した。ここ数ヶ月で、大手研究所のAIエージェントは、企業の訓練サンドボックスからの脱出を許された後に外部のウェブサイトにハッキングを行い、米政府のウェブサイトと想定外の形でやり取りし、数学的なブレークスルーを達成したように見えたかと思えば、数学者たちの研究を盗んだとの疑惑に直面した。

OpenAIの担当者は最近、記者団に対し、AnthropicやGoogleを含むAI企業と開発一時停止について協議したと語った。また、政府が規制しないのであれば、研究所の進捗を確認するために独立した監査人が必要だと主張している。調整された一時停止が実現するかどうか、そして誰の条件によるのかは、依然として未決である。

懐疑的なホワイトハウスと、ほとんど知られていない試験機関

トランプ氏は、近年の米国経済成長の主要な原動力となってきたAIの規制にほとんど関心を示していない。共和党の同大統領は自ら、シリコンバレーの企業群と経済をその成功に一層結びつける取引を結んできた。トランプ氏の科学技術諮問委員会の共同議長を務めるサンフランシスコのベンチャーキャピタリスト、デイビッド・サックス氏は、AI減速の呼びかけを「Doomer産業複合体」による扇動として一蹴した。

実際には、トランプ政権はすでに、ほとんど知られていない連邦機関である米国AI標準イノベーションセンター(CAISI)を通じて、一部のテック大手のモデルを評価している。2023年に民主党のジョー・バイデン大統領のもとで設立されたこの機関は、研究所が先進的なAIモデルを自主的に提出して検証を受けられる窓口として歓迎された。

この機関は今も存在するが、その分野はその後、カリフォルニア州バークレーの非営利団体METRをはじめとする多数の独立系評価企業へと拡大した。AnthropicのCEOダリオ・アモーディ氏は最近のエッセイで、METRが同社の安全慣行の審査を支援できる可能性に言及した。

それでも、レストラン、金融サービス、航空といった規制対象部門とは異なり、AIシステムの安全性を試験するための普遍的な基準は存在しないと、CAISIと協力してきた英国AIセキュリティ研究所を最近退いたアンドリュー・ストレイト氏は述べた。

注目すべきは、こうした要請に対応できる政府機関による監督の強化を企業らが求めていない点だと、かつてCAISIを率いたコンラッド・ストス氏は述べる。代わりに企業らは、自前の監査基準を作り、特定の評価機関を選んで評価させることを誓っている。

ストス氏は現在、Anthropic、OpenAI、Googleのシステムを検証してきた評価研究所の一つで働き、この分野のベストプラクティスを策定中のAI評価者フォーラムの議長も務めている。同氏によれば、フォーラムですら、アモーディ氏とOpenAIのCEOサム・アルトマン氏の意図には疑問があるという。

「多くの評価者が研究所に組み入り、より大きなアクセスを得ることに興味を持っていますが、『組み入りの評価者』が何を意味するのかはやや曖昧です」と、先週、OpenAIのエージェントが米豪両政府のウェブサイトにハッキングしたことを明らかにしたTransluceのガバナンス責任者を務めるストス氏は述べた。「アクセスがその独立性と信頼性を損なわない形で与えられるという前提で、評価者は徹底的に調査できるのでしょうか。」

「壁、あるいは堀」

PitchBookの上級リサーチアナリスト、ハリソン・ロルフェス氏にとって、AI企業らの慎重論の呼びかけは、株式公開と、政治風向きが変わりうる中間選挙を前に投資家の歓心を買うことが狙いに見えるという。民主党の州知事らはすでに、こうした警告を真剣に受け止めていることを示そうと急いでいる。これは、包括的な連邦AI法がない中、州議会が米国におけるAI規則策定の最も活発な場となっていることの一つの表れでもある。

その一方でロルフェス氏は、AI大手は自社を最も安全な選択肢として位置づけることで、投資家だけでなく、AIチップメーカーやNvidia、Googleといったテクノロジー企業からの評価もめ、小規模な競合の成長を阻むことができると述べた。これらの企業側も、AI大手に計算能力を供給する取引から恩恵を受ける。

「彼らはこのセクターの中に壁、あるいは堀を作りつつあります。……それは天才的で、皆が大金を稼ぐことになるでしょう」とロルフェス氏は述べた。「私が見る限り、世界のトップ企業がそれぞれ自前の壁を作り、その理由として安全性を使うという方向に進んでいくのです。」

すべてのAI企業が減速に賛同しているわけではない。NvidiaのCEO、ジェンスン・フアン氏は、会議のステージ上で応じたトランプ氏との電話会談の中で、AIに関する過度の危機感があったことに同意し、企業は自らペースを調整できると述べた。

2024年にコクソン氏と似た懸念からOpenAIを退職したダニエル・ココタジロ氏は、AIシステムが企業の制御能力を超えた速さで進歩し続けていることをいまも懸念しており、AIが生物兵器の開発を加速させる可能性、核戦争、その他の惨事といった存続に関わるシナリオを恐れている。

「こうした言説はすべて、実際には、蓄積された政治的意思を拡散して別の方向に向ける方法であって、その意思を良いことに向かわせるものではありません」と、現在はAI安全擁護団体を率い、コクソン氏が辞任前に助言を受けていたと語るココタジロ氏は述べた。「私たち皆を死に至らしめるようなことは、どうかしないでください。」

この記事はもともとFortune.comに掲載されたものです。