ニュースマクロMarginal Revolution、AI乗っ取りは警告なしに訪れるとするAI安全性主張に反論

Marginal Revolution、AI乗っ取りは警告なしに訪れるとするAI安全性主張に反論

著者: Marginal Revolution·

重要ポイント

  • ジョージ・メイソン大学の経済学者タイラー・コーウェンとアレックス・タバロックが共著する経済学ブログMarginal Revolutionは8月14日、「Adding to the barrel of finance fallacies」と題する批判記事を公開した。
  • 筆者の中心的な反論は、誰も心配する前にAIによる乗っ取りが訪れるという主張は自己崩壊的だというもの。それを主張する当人が、まさにその結果を懸念している人間だからである。
  • 記事は、この立場は自分自身に神託にも等しい先見性を認めながら、サイバー事故などの積み重なる前兆を他の人々や市場が無視すると想定するものだと論じている。
  • 80,000 Hoursの研究責任者Rob Wiblinの異議を受けて、筆者は、今後10年以内の破局を予想するなら誰でもプットオプションを買うべきで、10年契約や正確なタイミングは不要だと主張。どの株を空売りすべきか分からないということは、リスクが真にシステミックではないことを示すとした。
  • 記事は動機についての自覚的な余談で締めくくられ、1,000億ドルの追加サイバーコストのようなありふれたリスクは官僚的すぎて内集団の社会的なのりとしての役にも立たないため、AI安全性論者は劇的な恐怖にしがみつくのだと想像した。
Marginal Revolution、AI乗っ取りは警告なしに訪れるとするAI安全性主張に反論

ジョージ・メイソン大学の経済学者タイラー・コーウェン(Tyler Cowen)とアレックス・タバロック(Alex Tabarrok)が共著で長年運営する経済学ブログ『Marginal Revolution』が、AI安全性論者の間で出回っている見慣れた主張に狙いを定め、筆者の言う「増え続ける金融の誤謬のコレクション」に加えた。

このやり取りはX上で始まった。ある参加者が「悪いシナリオの多く(大半? ほぼすべて?)には、大きな懸念や破局へ至る中間的なポイントがある」と述べたのに対し、返信はその前提を一刀両断に切り捨てた。「私のモデルではそうではない。誰かが乗っ取りや死を心配し始める頃には、AIはすでにすべてのインフラを掌握している」(元の投稿

8月14日、Marginal Revolutionに書いた筆者は、AIによる破局が目に見える前兆とともに訪れるか否かをめぐるこの論法について、しばしば目にするものであり、「成り立たない悪い『AI安全性論点』のもう一つの例」だと述べている。

中心的な反論は、この主張を掲げる当人自身がそれを否定してしまっているというものだ。記事は「彼自身が、乗っ取りや死を心配している人間なのだ!」と指摘する。「私はこれらの問題の到来を見越している」と考えながら、同時に「これらの問題が増え、たとえばサイバー事故を通じてより公開されても、他の人々や市場は気づかないだろう」と考えるのは奇妙だ、というのである。

筆者によれば、この立場は「自分自身には驚くべき神託のような認識上の地位を与え、他のほとんど誰にもそれを与えない」ことに等しい。二つの追問が批判を先鋭化させる。「これから出てくるデータで他の誰もがあなたの見解に納得しないのであれば、なぜあなたはその見解をそこまで強く保持するのか? あるいは、最終的な結末がそれほど突然で秘匿的なものだと思うなら、なぜあなたは今、それほど未来を見通せているのか?」筆者の結論は、「これはすべて明らかに不合理だ、ただし狭い意味で論理的に自己矛盾はしていない」というものだ。

別の余談では、破局に備えてプットオプション——原資産が下落したときに価値が上がる契約——でヘッジする論理が検討される。「もし世界が突然終わりを迎え、貯蓄からプットを買ったものの換金できなければ、実質的な消費水準を下げないまま死ぬことになるだろう」というのである。

続けて記事は、Rob Wiblin——AI安全性を優先課題領域の一つに挙げる実効利他主義系のキャリア支援非営利団体80,000 Hoursの研究責任者——が提起した反論に応えている。彼は「MRコメント欄から、容易に反駁できる一連の異議」を並べたという(Wiblin氏の投稿)。どの株を空売りすべきか分からないことが「大きな問題」だという異議に対する筆者の答えは、「ならばそのリスクはそれほどシステミックではない」というものだ。「世界は今後10年のうちにいくつかの重大な破滅的な出来事を目にする」と考え、その証拠が「積み重なって」いるなら、時期について確信がなくてもプットをいくつか買うべきであり、「10年もののオプション契約は必要ない」とも付け加える。その理屈によれば、「比較的極端な見解を持つAI安全性論者は、これらの論点を撤回するのではなく、支持者に広めようとすべきだ」。

記事は、動機についての自覚的な回り道で締めくくられる。筆者は「見解を解剖する方法として精神分析を好まない」ものの、「このトピックにおける明白な直接の誤りの数と範囲(しかも非常に聡明な人々によるもの)があまりに多く、考え込まずにはいられない」という観察から、架空の理屈を思い描く。「1,000億ドルの追加サイバーコストは十分に重大な懸念ではない。あまりに日常的で、GDPに占める割合も小さすぎて、普通で官僚的すぎる問題だ……私のもっと大きくて劇的な恐怖を奪わないでほしい! それは認めない! それに、その見解こそが、私の内集団を結び付ける社会的なのりなのだから」

「Adding to the barrel of finance fallacies(金融の誤謬の樽に追加する)」と題するこの記事は、Marginal Revolutionに掲載された。