奇爱博士达里奥:AI末日焦虑如何呼应冷战核恐惧
要点速览
- •Anthropic CEO Dario Amodei于9月12日发表了一篇3800字的文章,呼吁放缓AI能力提升,理由包括失控、网络攻击和生物恐怖主义等风险,并提出外部监督、实验室协调和国际合作等建议。
- •路透社9月下旬报道,Anthropic计划中的IPO招股书警告其技术可能对人类构成灾难性风险。
- •导演James Cameron在2025年8月表示,他仍担心AI与武器系统结合会带来《终结者》式末日,这一恐惧源于他童年经历古巴导弹危机。
- •乔治城大学计算机科学教授、《纽约客》专栏作家Cal Newport在Prof G Markets播客上形容硅谷的AI末日论调为“大规模焦虑武器”,称其来自一个15年来重复同样信息的意识形态社群。
- •普林斯顿大学教授Arvind Narayanan在《AI as Normal Technology》一文中指出,AI与以往的变革性技术相似,可以用现有方法加以管理;而AI领域一些人士估计AI导致人类灭绝的概率为10%。

我和妻子最近一直在重看美剧黄金时代的经典——先是《美国谍梦》,现在是《广告狂人》。以今天的视角来看,这两部年代剧与其说是对它们所描绘的时代(1980年代和1960年代)的写照,不如说是映照我们当下处境的镜子。在AMC这部醉醺醺的麦迪逊大道史诗第二季大结局中,最打动我的是一种氛围:末日将至、如履薄冰的感觉——这种感觉已经持续了75年,至今未消。
在那集名为《紧急时刻的沉思》的结尾中,Don Draper看着肯尼迪在电视上宣布苏联在古巴部署导弹。剧中人物盘算着如果战争爆发,自己想身处何地。Joan提起民防,Don却不以为然。单就情节而言,这场危机什么都没有改变——一位评论家称它是一个巧妙的背景,另一位则认为它迫使角色直面自己内心早已存在的东西。Don刚刚结束又一次消失归来,而毁灭将至的恐惧总能让人们做出奇怪的事。
关于AI安全的辩论在实质上有所不同,但它唤起的正是自我们祖辈那个年代以来社会一直未曾摆脱的不安。当一个社会被一遍又一遍地告知末日将近,会发生什么?
每一代人的地下室
即便从我自己1980年代的童年,我也能感受到这种氛围。柏林墙倒塌时我6岁,核对抗的可能性早已融入周围的文化之中。它并不需要像Barry McGuire的《Eve of Destruction》那样直白。我在Bob Dylan的《Subterranean Homesick Blues》里听到了它——Johnny待在地下室,而叙述者站在人行道上,思考着政府。在我听来,那个地下室就是一个放射性尘埃避难所,尽管一贯含蓄的Dylan也许是在致敬1950年代“垮掉派”诗歌的“地下”文化——那个让每本高中毕业纪念册里至少出现一句Jack Kerouac引言的文化场景。
(相比之下,《美国谍梦》的配乐更多依赖Peter Gabriel,尤其是《Games Without Frontiers》,其中名为“Willy”的角色可能是向西德总理Willy Brandt致意。这首歌的英文名译自《Jeux Sans Frontières》,这是一档欧洲电视游戏节目,来自不同国家的队伍身着滑稽服装参加各种搞怪任务,和声部分由Kate Bush演唱那句法语。)
而“垮掉的一代”则从法国存在主义者那里汲取养分——那是一场在原子弹时代叩问无神宇宙的运动。Christopher Nolan在2020年代最具代表性的大片之一《奥本海默》,戏剧化地呈现了这整个文化诞生的那一刻。
难怪科幻作品中最具影响力的AI末日叙事之一——1984年的《终结者》——出自动作片大师James Cameron之手。他常常提起,8岁那年古巴导弹危机爆发时他守在电视机前,翻阅父亲发放的防空掩体手册。Cameron在2025年8月告诉《滚石》,他仍然担心一种《终结者》式的末日:将AI与武器系统结合——甚至上升到核武器系统、核防御反击那一套的程度。
美国末日叙事的最新篇章中,有多少是Cameron的遗产?
谁手里握着炸弹
Stanley Kubrick 1964年的喜剧《奇爱博士,或:我如何学会停止担忧并爱上炸弹》想象了一位叛变将军下令发动未经授权的攻击,而作战室则手忙脚乱地试图阻止灾难。它的笑点在于:为阻止末日而打造的机器,恰恰可能带来末日。今年Tom Cruise的巨制《Digger》似乎有意复刻《奇爱博士》那种夸张的能量——不过它的气候主题似乎找错了对象,真正的对应物是人工智能。
Kevin Roose的新书《The AGI Chronicles》——AGI即通用人工智能,指AI系统在大多数认知任务上可媲美人类能力的假想里程碑——将Anthropic CEO Dario Amodei(其公司开发了Claude聊天机器人)描绘成一个痴迷于风险与危险这类原子级问题的人。Amodei曾给每一位新入职的Anthropic员工送上一本他最爱的书《The Making of the Atomic Bomb》。书中还写道,Amodei的个人偶像是Leo Szilard——这位科学家构想出了核链式反应(令他自己深感恐惧),后来起草了1939年爱因斯坦致罗斯福的信件,间接促成了曼哈顿计划。Amodei对Szilard的崇敬是否如此真诚,以至于他在有意识地重走同样的路?
9月12日,Amodei发表了一篇3800字的文章,题为《We Must Pace the Frontier》。“我们必须放慢提升AI模型能力的速度,”他写道。他表示,风险包括失去对AI系统的控制,以及AI被滥用于网络攻击和生物恐怖主义,并提出了外部监督、实验室之间协调以及国际合作等主张——这是一份衡量警告是否与行动相匹配的具体议程。9月下旬,路透社报道称,Anthropic计划中的IPO招股书警告其技术可能对人类构成“灾难性风险”——这在财务披露中是个奇怪的选择,毕竟没有人类,市场本身就无从存在。
《纽约客》专栏作家、乔治城大学计算机科学教授Cal Newport最近在Prof G Markets播客上向Ed Elson形容这种心态为“大规模焦虑武器”。他认为,硅谷传出的AI末日论调,很大程度上是一个意识形态社群的产物——这个社群15年来一直在重复同样的信息。在他看来,ChatGPT开发商OpenAI、Anthropic以及它们最尖锐的批评者,正陷入一场关于世界是否已为AI“神明”准备就绪的“家庭争吵”,而他们的许多概念——包括递归自我改进——直接来自未来学理论,而非计算机科学。
真实的狼群
平心而论,每一代的末日预言者并非全然凭空捏造。我常读并敬佩的《金融时报》专栏作家Janan Ganesh在10月10日一篇题为《悲观疲劳的危险》的专栏中提出了这一点。他写道,昔日的恐慌“都建立在重大而具体的事件之上:Pershing导弹部署、9/11、一种冠状病毒”。他梳理了我成长过程中经历的那些恐慌:1980年代的核毁灭,然后是基地组织,然后是疫情。而他开篇便抛出了笼罩着这场辩论的数字:据该领域一些人士估计,AI导致人类灭绝的概率为10%。
不过,按照Ganesh自己的计算,警报几乎每次都跑在了威胁前面。“结果证明,冷战是在走向结束,而不是走向热战,”他写道。至于基地组织,他补充道:“威胁并非凭空捏造,但也从未真正接近生存层面。”
还有一种严肃的观点认为,AI这匹狼穿错了戏服。普林斯顿大学计算机科学教授、该校信息技术政策中心主任Arvind Narayanan与同事Sayash Kapoor合写了一篇颇具影响力的文章,题为《AI as Normal Technology》。他们认为,AI与以往的革命性技术非常相似,这意味着我们已经有了一套管理它的现成路线图。
上周在Ezra Klein的播客中,在一期题为《不是权力》的节目里,Narayanan和Klein辩论了AI究竟更类似于“电力、互联网、自行车”,还是“某种更像外星心智的东西”。Narayanan认为,成群的AI“智能体”固然危险——但当年的计算机“蠕虫”或病毒同样危险,而正是依靠创新才将它们控制住了。他还表示,这一论点可以延伸到核技术与核扩散问题上。
James Cameron在电视机前看肯尼迪讲话时是8岁。柏林墙倒塌时我是6岁。如今某个同龄的孩子,正听说机器可能终结世界——而且说这话的,正是建造机器的人。
Cameron用了22年把古巴变成了《终结者》系列电影中的失控军用AI Skynet。2048年再回头看看吧。至于我们其他人,我担心我们将再一次习惯于在炸弹阴影下的生活。
本文最初发表于 Fortune.com。