人工知能を開発する人々からの最新の警告の裏には、難しい問いが潜んでいる。自社が社会に対する危険を生み出している可能性があると信じるとき、留まって変えようとする義務があるのか、それとも去って警鐘を鳴らすべきなのか。

この問いが先週、切実さを増した。元Anthropic・OpenAIの研究者ジェイコブ・コクソン氏が、最前線の研究所が自己改善型の超知能に向かって競争しており、「私たちの命を賭けた博打」に踏み込んでいると警告したのだ。
コクソン氏が指摘する懸念は再帰的自己改善である。これはAIシステムが開発者自身が評価や抑制できる速度を超えて自己改善を始めてしまうシナリオであり、AI研究において数十年にわたり議論されてきたが、今や業界内部の安全性をめぐる議論の中心に据えられている。

コクソン氏は、技術の行き先への懸念を訴えながら離脱した最新のAI業界内部者である。経済学者アルバート・O・ハーシュマンは、組織が誤った方向に進んでいると考える人々が直面する選択を「退出」対「発言」として定式化した。去るか、留まって内部から変えようとするかという枠組みで、彼は1970年の著書『Exit, Voice, and Loyalty』で提示した。留まることはアクセスと影響力をもたらし、去ることは公に発言する自由をもたらす。タイミングが両者の道を複雑にする。後に危険だと述べるシステムへの参加が長引くほど、信念に基づく異議と事後的な免罪を切り分けることが難しくなる。

今も最前線の研究所を率いる人々は、この問題の別のバージョンに直面している。Anthropicのダリオ・アモデイCEOは今週末、エッセイを発表し、安全性研究が追いつけるようAI企業は最強モデルの進展を減速すべきだと論じた。しかし彼が提案する制限は、Anthropic単独ではなく業界全体の協調に依存している。これは安全性への懸念が商業的・地政学的競争と衝突していることの認めるとも言える。アモデイ氏はこの退出対発言の計算を身をもって知っている。2021年にOpenAIを去り、安全性重視のAI開発を明確に掲げて設立された研究所としてAnthropicを共同創業したのだ。

Fortuneの編集長アリソン・ションテル氏との独占インタビューで、OpenAIのサム・アルトマンCEOも同様にAI開発のペース管理を主張し、AIが人間の制御を離れる可能性があることを認めた。また、主要なAI企業が集団的行動を協議しているとの見解も示した。最先端の研究所を率いる人々にとって、ジンマは留まるかどうかから減速するかどうかへと移り変わる。自分たちが構築している技術が壊滅的に危険になりうると警告しながら、より強力にするための競争を続けることの意味とは何か。いずれの時点かで、警告はリスクを踏まえて企業が実際に何を変えるのかという決断につながらなければならない。

アルトマン氏は現在、その時点がどこにあるのか、誰が制限を設定すべきなのか、最強のAIを構築しようと競う企業同士が一緒に減速することで合意できるのかを、公に模索している。読者が注目すべき問いは、こうした議論が競合する研究所が実際に守る具体的なコミットメントへと固まるかどうかである。ションテル氏は二人の幅広い対談の中でこの問題を鋭く問いかけ、その模様はこちらで視聴できる。

ルース・ウモ（Ruth Umoh）— ruth.umoh@fortune.com

この記事はもともとFortune.comに掲載されたものです。