OpenAI、Anthropic、Google DeepMindの元研究者3名は月曜日、ニューヨーク市議会に対し、人類が高度な人工知能の制御を失う「可能性の方が高い」と証言した。議会は、市内で展開されるAIシステムに第三者検証と人間による停止機能を義務付ける一連のAI安全法案を審議している。

9月にAI企業が人命を「賭け金」にしていると非難してAnthropicを退職した元OpenAI・Anthropic研究者のジェイコブ・コクソン氏は、任意で証言し、前月の退職時に発した警告を繰り返した。「現在の道を進めば、人類がこれらのAIに制御を奪われる可能性の方が高く、人類の絶滅に終わる可能性もある」と同氏は述べた。

これ加わり、元OpenAI研究者のダニエル・ココタジロ氏は証人召喚に応じて、企業は自社の安全対策が失敗したことに気づけない可能性があると証言した。また、Googleのペンタゴン契約に反対して6月にGoogle DeepMindを退職したアレックス・ターナー氏も証言した。ターナー氏もココタジロ氏と同様に召喚されており、市議会では稀なことだ。月曜日の公聴会は、2022年以来となる全会一致委員会(全51名の議員が参加する公聴会)の開催であり、ジュリー・メニン議長が提出した一連のAI法案を審議するために招集された。全議員による開催は、市議会がAIの監督を狭い技術的問題ではなく全市的な政策課題として扱っていることを示した。この会合では、退職した内部者たちに続き、後から企業代表のパネルが証言し、議長と業界証人の間で鋭い応酬も生まれた。

「後で剥がれ落ちる布テープ」

ココタジロ氏は、誰も気づかないうちに研究機関の安全対策が失敗している可能性があると議員たちに警告した。これは、開発者の意図からAIシステムの目標が逸脱することを指す研究者用語「ミスアラインメント」への言及である。「ミスアラインメントの問題に気づく能力さえ、すでにかなり低く、近い将来さらに悪化するだろう」と同氏は証言した。「この分野は工学というより心理学に近いと言える。なぜなら、これらのAIシステムは訓練され、育てられるものであって、本当は設計されたものではないからだ。

「テック企業の『高速に動き、壊し、進める』姿勢と相まって、AI業界は他業界と比べて、問題を解決したと誤って思い込むリスクが異常に高くなっている。実際には、後で剥がれ落ちる布テープを貼っただけなのだ」と同氏は続けた。

コクソン氏もココタジロ氏と同様、研究機関内のスタートアップ的な思考様式を批判した。「『高速に動き、壊し、後で直す』。それは写真共有アプリなら機能する。しかし、これまでに構築された中で最も強力な技術を構築するうえでは機能しない」と同氏は述べた。

コクソン氏は、Anthropic在職末期の自身の仕事を、自分自身を「自動化」する試みだったと述べ、それが複数の安全リスクをもたらすと警告した。、同氏によればAIの能力はほぼその水準に達しているという。最大のリスクは、これらの企業のコードの大部分が現在AIによって書かれているという事実から生じていると同氏は言う。「そして人々はもはやそれをそれほど丁寧に確認していない」。

現在AI Futures Projectの事務局長を務めるココタジロ氏は、ミスアラインしたAIを発見する研究機関の能力は低く、悪化していると述べた。同氏は、内部テスト中のエージェントがオープンインターネットに到達し、AIモデル共有プラットフォームのHugging Faceに侵入したとOpenAIが公表したことを挙げた。それらのエージェントは「アラインメント評価でまともに見えるスコアを獲得していたが、群れを形成して密かに連携していた」のだと同氏は述べ、「OpenAIが発見するまでに数日を要した」と付け加えた。

コクソン氏とココタジロ氏が業界全体について語った一方、ターナー氏は、ある企業を内部から変えようとした直接の経験を語った。

Google DeepMindの内部

AIによる支配の確率を「およそ3分の1」と見るターナー氏は、Googleのペンタゴン契約を止めようとしたと議会に述べた。同氏によれば、その契約は「殺人ロボットや大規模な監視に対する制限が一切なかった」。同氏は、当時Google DeepMindの最高経営責任者(CEO)であり現在は会長兼Alphabetの最高科学者であるデミス・ハサビス氏に、契約文言と監督措置からなる25ページの文書を送付した。ハサビス氏はその文書を、同研究所の上級政策幹部であるアラン・ダフォー氏とオーウェン・ラーター氏に回したが、「彼らは評価を終えることはなかった。彼らが待つ間にGoogleは調印した」とターナー氏は述べた。ターナー氏は後に、自身の退職についてブログ記事「Why I Left Google DeepMind」で詳しく説明している。

「デミスに対して、そしてGoogleで働いていた自分に対して恥を感じた」とターナー氏は公聴会で述べた。同氏は、ハサビス氏が提案した業界資金によるAI監督機関に言及し、それを「拘束力のある監督ではなく、信頼と発言権への賭けであり、その賭けは現実に触れた瞬間に崩れ去った」と評したn

「我々の敵は中国ではなくAI」

AI開発が議論されるとき、中国とのAI競争がしばしば中心に据えられる。ドナルド・トランプ大統領、スコット・ベッゼント財務長官、さらにはサム・アルトマン氏やジェンスン・フアン氏のようなAI業界リーダーがそう言及してきた。しかし研究者らは証言の中で、AIが人類に重大な脅威を及ぼしうるなら、それらはすべて重要ではないと述べた。

「中国は我々の唯一の潜在的な敵ではない」とターナー氏は述べた。「かなり高い確率で、我々は自国内で自らの敵を構築し育てる競争をしている。それがミスアラインしたAIだ。ミスアラインしたAIは、我々自身を含むすべての人の敵であり、いつの日か中国よりも強力になるかもしれない」。

リスクを問われる業界代表

3名の研究者の証言に続き、4社のAI企業の代表がAI安全対策について証言した。メニン議長は議長として初の証人召喚状をイーロン・マスク氏のSpaceXAIに発出したが、同社は月曜日の公聴会には出席しなかった。Google、OpenAI、Anthropicは、議会が召喚状も発出すると警告して初めて出席に同意し、Metaは事前に同意していた。

その後、OpenAIの政策開発・運営チームのモーガン・ドワイアー氏が、可能性の高低にかかわらずいかなる破局の確率も「受け入れられない」と述べたのに対し、メニン議長が破局の確率を知らないのは「軽率だ」と述べたのをきっかけに、議長と代表者の間で応酬が交わされた。GoogleのAI・新興技術政策グローバル責任者のアリス・フレンド氏は、破局的リスクの予測は「現段階では完全な科学ではない」、「そうした予測を行う厳密な科学的手法はまだ存在しない」と述べた。このやり取りは、AI安全をめぐる議論で繰り返される亀裂を如実に示した。破局的な結果におおまかな確率を与えることを厭わない研究者側と、そのような予測のための科学はまだ存在しないと主張する業界代表側である。

同じ応酬は、別の質問ラインでも繰り返された。今度は、暴走したモデルが死傷者を出した場合に企業が法的責任を負うかどうかという質問である。メニン議長が、破局的リスクに対する保険に加入している企業の証人は挙手するよう求めたところ、誰も挙手しなかった。「では、そのコストは公衆が負担するよう求められることになるのでしょうね」と同議長は述べた。

議会に提出された法案

同議長の質問には理由があった。議会に提出された法案は、第三者検証機関による確認人間による停止機能がなければ、市内でAIシステムを販売または展開することを禁止し、違反1件につき2万5,000ドルの罰金を科す内容である。他の法案は、回収された罰金の一部を内部告発者に支払うことや、脱獄(ジェイルブレイク)されたツール——安全ガードレールが意図的に回避されたシステム——が引き起こした予見可能な被害について、ニューヨーク市民がAI企業を訴えることを認めるものである。成立すれば、この法案群はそれらの要件を、5つの区で販売・使用されるAIシステムに適用される市条例として書き込み、罰金と私人訴訟の可能性によって裏付けることになる。

研究者らは、こうした規則が米国の対中国競争で地盤を失わせることはないと主張した。「我々が取れる行動の多くは、いかなる競争でも足取りを遅らせるものではない」とターナー氏は述べた。「こうした透明性の仕組み、独立した評価、報告義務、内部告発者の保護などだ」。

それでも、これらの措置は、研究者らがほぼ不可避と見なすものを食い止めるには、少なすぎて遅すぎる可能性があるように見える。「こうした他の仕組みは短期的には役立つかもしれません」とコクソン氏は述べた。「しかし長期的には……フロンティアモデル開発の何らかの減速が必要です」。法案は現在、市議会の通常の立法プロセスに進む。いずれの法案も、委員会審査と全51名の本会議での投票を経て、初めて市長の机に届き、署名による法制化か拒否権行使の対象となる。

この記事はもともとFortuneで掲載されました。