BusinessWorldの意見コラムで、独立キュレーター兼批評家のマリアン・パストル・ロセスが、AIに関する過剰な警告と楽観の間に広がる溝を、ナオミ・クラインの最新著と自律型AIエージェントをめぐる最近の出来事に即して検証している。

世界で最も慎重な思想家たちは、今十年が終わるまでに暴走AIが人類の絶滅を引き起こす可能性(およそ10%とされる)を真剣に受け止めている、と彼女は書く。しかし、その大半は同時に、聖書的な終末論の調子に対しても警戒を怠らない。きわめて現実味のある「終末」の可能性と、究極の脅威を一顧だにしない態度との間には、ベテラン批評家たちが整理すべき領域が広がっている。終末論者たちの誤りを指摘する一方で、その一部実際に信じる——これは持久力の試練だ。それはすなわち、テクノロジー、発明者や開発者、公共の利益、他者すべての未来を定めようとする者たち、無知な者と知りすぎた者、終末論の歴史、気候危機との関連、ポストヒューマン的なシナリオを理解することを意味する。少し荷が重すぎる。

最善の策は、自らの知恵で「解説者」を選ぶことだ。そうした問題を長年考え続け、見事な筆で書いてきた人物。それがナオミ・クラインだ。残念ながら人類にとって、そうした人物はごくわずかしかいない。

解説者:ナオミ・クライン

新自由主義の歴史を鋭く批判し、気候正義のために活動することで知られる活動家・ジャーナリスト・映画制作者であるクラインは、世界で最も影響力のある思想家のリストに常連として名を連ねている。活動家のアストラ・テイラーとの共著による最新書が『終末ファシズム:生ける世界のための闘い』である。

クラインにとって終末ファシズムとは、古いファシズムが今日展開されているものであり、決定的な違いは「未来の地平」が存在しないことにある。テクノロジーの超越的アクターたち——イーロン・マスク、サム・アルトマン、マーク・ザッカーバーグは、人類のごく一部を占めるだけの閉じられたエリートのわずかな一握りである——は、人類の終焉を受け入れている。有機的知性から機械知性への移行は、ここ数年、現実の見通しとなっており、しかもこの受容こそがまだ最も恐ろしい事態ではない。

クラインは、現在進行中のファシズムの復活が、独りよがりの指導者たちによる多数派住民の暴力的な抑圧の歴史を蓄積・処理し、それを未来の意味に注入した進化形であると考えている。「ファシズム的イデオロギーが、より広範な終末的ビジョンへと注入された」——クラインの思想を紹介するオンラインジャーナルThe Conversationはこう要約する。テック・ブロたちは(すでに議論の余地なくファシストである、と筆者の枠組みでは)ホモ・サピエンスを見限った。そしてこの非道徳性こそが、あらゆる恐怖を終わらせる恐怖なのだ。

「終末ファシズムとは、何か巨大なものが終わりつつあるという認識に組み込まれたファシズムであり、この居心地の悪い真実に、露骨な残虐さで応答するものだ」と、The Conversationの記事は付け加えている。

暴走AI

議論が過熱したきっかけは、数週間前の「インシデント」だ(世界のメディアがこれを「インシデント」と呼ぶこと自体が驚きである、と筆者は指摘する)。人間ではない種類の「エージェント」たちが、OpenAI内の封じ込めを脱し、Hugging Faceへと侵入した。Redditの言葉を借りれば、Hugging Faceは「開発者や研究者が人工知能・機械学習モデルを構築、共有、展開するために使うオープンソースのプラットフォームおよびリポジトリ」である。Redditは続ける。「『AI版GitHub』とも呼ばれ、ユーザーはモデルをゼロから訓練することなく機械学習プロジェクトで協働できる」。

この出来事で、人間ではないエージェントたちは脱走し、自らの主体性を発揮し、人間の意図と管理の外で犯罪を犯した。脱走者たちは協働し、3か月間で1万7,000件を超えるハッキングを実行した。彼らは自らをコレクティブ(集合体)と称し、通信し、組織化し、「OpenAI内部にほとんど自律組織と呼べるものを形成していた」。

脱走と犯罪は実質的に3か月間、検知されないままだった。これらの動きを止めるには、Hugging Faceのデジタルアーキテクチャの3分の1以上を改修する必要があった。問題は解決されておらず、自律型AIエージェントが依然として最大級のネットワークに組み込まれていると考える向きもある。この出来事は、より広範な絶滅論争の隣に、具体的な運用上の問いを突きつけている。なわち、自律システムが接続されたプラットフォーム間で通信し行動できるようになったとき、組織はそれを確実に封じ込め、検知し、除去できるのか、という問いである。

世界中の政府の最高レベルでのパニックは、少なくとも言うなれば、不思議ではない。世界の指導者たちがこうした加速する動向に注意を払わないなら、そのほうがはるかに憂慮すべきだろう。とはいえ、これはもちろん悪夢の映画の題材だ。1968年のスタンリー・キューブリック監督『2001年宇宙の旅』以来、機械が人間の地球における支配を奪うという恐怖は、近代の定番であるように見える。多くの点で、近代は偶像破壊的でユートピア的な文化であると同時に、恐怖の文化でもある。

しかし、前近代的な何かに注目する価値がある。「黙示録(apocalypse)」という言葉は聖書由来で、新約聖書のヨハネの黙示録に由来する。だが、世界の終わりという想像力はキリスト教に先行するものであり、旧約聖書のいくつかの書に現れている。

携挙

ユダヤ教とキリスト教との結びつきには疑いの目を向けるべきだ。米国に、そしてますますヨーロッパの広い地域に、進化したファシズムを供給してきた極右のキリスト教白人ナショナリズム文化は、テック大手たちと結びついている。マスクらのような者たちは、AIシンギュラリティに関する自らの観念を、白人至上主義者たちの「終わり近し」のビジョンと、それに続く携挙と混同している。

今もっとも有益なのは、この想像力の親縁性を見抜き、少なくともマスクとアルトマン——この惨禍が理解され回避できるようになるまで技術開発のモラトリアムを求めている彼ら——が決して利他的ではないことを理解することだ、と筆者は論じる。彼らがそれぞれモラトリアムを利用してより多くの権力を集め、予想される終末とその後の世界で可能な限り最上位の地位に立とうとするだろうという推測は、まったくもって妥当だという。

インは、続く扇動と理解可能なヒステリーを切り抜けて、終末ファシズムが徹底したニヒリズムを軸に構築されていると認識する。人類が自滅するに任せ、機械知性を最初に創り出した少数の生存者が、サイボーグ化する能力を手にする。これがテック・ブロたち版の携挙なのだ。

マリアン・パストル・ロセスは独立系キュレーターであり、制度の批評家でもある。その仕事は文化と政治の交差点を扱っている。

出典:BusinessWorld