查尔斯国王警告AI领袖:须在“为时已晚”之前掌控技术
要点速览
- •查尔斯三世国王在苏格兰邓弗里斯庄园向约30名AI高管、官员和研究人员表示,人类必须在对AI为时已晚之前掌握足够的控制手段。
- •DeepMind联合创始人Demis Hassabis估计,通用人工智能可能仅剩几年之遥,其影响可能是工业革命的十倍,且出问题的几率不为零。
- •估值接近5.15万亿美元的Nvidia首席执行官黄仁勋主张监管AI产品而非技术本身,并为开放模型辩护,以防止较小的国家和研究人员被排除在外。
- •OpenAI财务总监Sarah Friar表示,没有任何一家公司或政府能够独自让日益强大的AI服务于人类。
- •此次峰会召开之际,行业内部警告不断,包括Anthropic研究员Evan Hubinger预测AI有10%的几率导致人类灭绝,以及OpenAI推出不当行为披露系统,而特朗普总统则将此类担忧斥为骗局。

查尔斯三世国王向全球最大的人工智能公司的掌门人表示,他们必须设法将这项技术置于人类控制之下,并警告称,正是构建这项技术的人们如今担心它可能发展出“更黑暗的能力”,甚至被用于杀戮。
苏格兰的一场私人聚会
国王是在苏格兰东艾尔郡的邓弗里斯庄园发表上述讲话的,此次活动由Ditchley基金会组织。活动吸引了约30名高管、官员和研究人员,其中包括英国AI事务大臣Kanishka Narayan、Nvidia首席执行官黄仁勋、DeepMind联合创始人Demis Hassabis、OpenAI财务总监Sarah Friar以及Anthropic全球事务负责人Tino Cuéllar。
据彭博社查阅的一份私人嘉宾名单,这场仅限受邀者参加的活动据报还包括MI6负责人Blaise Metreweli、作家尤瓦尔·诺亚·赫拉利以及清华大学的薛澜。这场聚会的阵容之广——前沿实验室高管与政府部长、情报负责人、作家及梵蒂冈顾问同席而坐——显示出AI安全已从一场技术辩论演变为一个治国方略问题。
77岁的查尔斯仅发表约20分钟的讲话,随后便离席,希望与会者能进行富有成效的讨论。他表示,珍视人类道德内核的人们正“焦急地寻求你们的保证,即我们不会失去对自身命运、乃至灵魂的控制”。
“既引人入胜,又同样令人深感担忧”
这位君主将技术发展之快形容为“既引人入胜,又同样令人深感担忧”。他赞扬了技术在医学和生命科学领域的成就,随后向在场听众抛出一个直白的问题:“毫无疑问,我们必须在为时已晚,掌握足够的控制手段?”
国王提及了AI技术创造者自身的担忧,表示这些系统存在“发展出更黑暗能力、甚至夺走生命”的风险。他敦促高管们权衡此类工具落入错误之手的“生存性危险”。
这并非查尔斯首次表达此类担忧:2023年,他曾向英国在布莱切利园举行的AI安全峰会发送视频致辞,表达了类似的看法。梵蒂冈AI顾问Paolo Benanti出席了苏格兰峰会,教宗良十四世则在5月的一份通谕中写道,AI不能只掌握在“少数人”手中。
AI高管们怎么说
Demis Hassabis向与会代表表示,通用人工智能——能够在众多任务上匹敌或超越人类的系统——“可能只剩短短几年之遥”。他表示,这类技术的潜在影响可能是工业革命的十倍。他补充说,出问题的几率“肯定不为零”,但又接着表示“未来尚未写定”。
Sarah Friar表示,技术日益强大的力量引发了如何使其服务于人类的问题,并补充道“没有任何一家公司或政府能够独自做到这一点”。
黄仁勋旗下的Nvidia估值接近5.15万亿美元,他告诉与会者,安全至关重要,如果产品尚未成熟就应暂缓推出。他主张监管AI产品而非技术本身,并为开放模型辩护,认为这能防止较小的国家和研究人员被排除在外。这一区别——针对技术本身的规则与针对基于技术构建的产品的规则——正处于全球监管辩论的核心。结合Friar关于没有任何单一行为体能独自管理这项技术的警告,这些交流勾勒出如今塑造AI监管的两大路径:规则应附着于何处,以及应由谁来承担。
因行业警告而更加尖锐的辩论
此次峰会召开之际,行业内部正值担忧四起:此前,Anthropic研究员Jacob Coxon一篇引发广泛关注的离职帖文,以及其同事Evan Hubinger预测AI有10%的几率导致人类灭绝,引发了广泛关注。Cryptopolitan此前报道称,Anthropic的Dario Amodei发表文章敦促各实验室“为前沿踩刹车”,而OpenAI本周推出了一个旨在披露模型不当行为的系统,此前已记录六起令人担忧的行为事件。
然而,并非所有人都认为这种危险是真实的:唐纳德·特朗普总统已将此类担忧斥为“骗局”。这一分歧将如何弥合——是通过OpenAI新的披露系统等实验室自建的安全保障、黄仁勋所支持的产品导向监管,还是Amodei敦促的前沿“限速”——是高管们离开邓弗里斯庄园后仍需面对的问题。