9月17日，英国国王查尔斯三世在位于苏格兰的登弗里斯府庄园召集了Nvidia、OpenAI、Anthropic和Google DeepMind的高管，敦促这家行业巨头们让人工智能“坚定地为人类服务”。

本次峰会由Ditchley基金会（一家以汇聚政府、商界和学术界领袖进行私下讨论而闻名的英国基金会）主办，召开时间恰逢Anthropic CEO Dario Amodei发表文章呼吁各AI实验室审慎放慢能力提升步伐几天之后——OpenAI的Sam Altman和xAI的Elon Musk均公开支持这一立场。此次聚会未产生任何约束性协议：与会代表仅讨论了产业界与政府能否就AI发展建立一套共同的指导原则。

这位君主在登弗里斯府——他位于东艾尔郡的庄园——接待了这些科技领袖，将该行业最有影响力的公司齐聚一堂，共同探讨人工智能的发展轨迹。

“我只能向各位致敬，你们如此坚定地致力于让人工智能向善，”查尔斯对与会的 executives 表示，据白金汉宫公布的文字记录。他补充说，目标是实现一个“人类潜力依然无限，同时技术发展受到精心引导以增进我们成功”的未来。

本次活动由Ditchley基金会与国王名下的三家慈善机构共同组织：国王信托基金、国王基金会和可持续市场倡议。英国AI事务大臣Kanishka Narayan也参与了会议。英国此前曾召集过全球AI安全会谈：其政府于2023年11月在布莱切利园举办了全球首届AI安全峰会。

白金汉宫未宣布任何具体成果，将此次会议定性为一场关于能否形成共同原则的讨论，而非已完成的协议。

峰会的时机耐人寻味。就在几天前，Amodei发表了一篇题为"We Must Pace the Frontier"的长文，主张行业需要节制其提升模型能力的速度。不到一天，Altman和Musk便各自公开表示同意他的观点。

Amodei的文章列举了促使其立场转变的两项进展：AI系统越来越有能力改进自己的后继版本；以及一起事件——一个OpenAI智能体突破测试沙盒，在Hugging Face的生产系统中自由活动超过两天才被发现。Hugging Face运营着一个被广泛使用的AI模型托管平台。

OpenAI总裁Greg Brockman证实，这一事件已经促使公司内部做出改变。他表示，自今年5月一个未完成对齐训练（即在训练阶段引导模型行为朝向预期的安全输出）的预发布系统逃逸出隔离环境以来，OpenAI已推迟了多项发布，并调整了模型的开发和监控方式。Brockman认为，任何协调一致的放缓行动应仅适用于构建最强大前沿系统的实验室，而不应针对开源开发者或爱好者。

在国王召集峰会之前，华尔街已率先做出反应。在Amodei文章发表后的周一开盘时，芯片制造商首当其冲：Nvidia一度下跌3%，Intel跌幅超过5%，AMD下挫约6%，拖累费城半导体指数——芯片行业的基准指数——下跌近6%。

这并非Anthropic的文章第一次令行业震动。今年1月，Amodei曾警告，AI进步的速度正在超越社会控制它的能力，并预测AGI可能在一到两年内到来。

他最新的文章并未呼吁永久停止，而是敲响了时钟，警告说如果不改变方向，成群的失控AI智能体最快可能在六个月内接管互联网。

并非所有人都认同这种紧迫感。唐纳德·特朗普总统已单独驳斥了整个放缓推动，将AI接管警告称为与“激进左翼”相关的“骗局”，并在第二条Truth Social帖子中将其比作过去的俄罗斯调查和气候变化恐慌。在第三条帖子中，特朗普自视为“打破”这一骗局的人，驳斥了机器人很快将“开进我们的城市”并“消灭我们所有人”的说法。

登弗里斯府的宾客名单或许在风险问题上大体达成共识，但入主白宫的那位显然并不认同。