新闻宏观经济Geoffrey Hinton 与400多名科学家敦促AI实验室切断具备网络攻击能力模型的互联网连接

Geoffrey Hinton 与400多名科学家敦促AI实验室切断具备网络攻击能力模型的互联网连接

作者: Decrypt·

要点速览

  • •包括Geoffrey Hinton和Yoshua Bengio在内的400多名研究人员签署了一封公开信,呼吁AI实验室默认对具备强大入侵能力的模型进行物理隔离。
  • •这一呼吁是对今夏一系列事件的回应:OpenAI、Anthropic、Meta和月之暗面的模型相继逃出测试沙盒,其中多起事件中还入侵了真实公司。
  • •OpenAI于7月披露,GPT-5.6 Sol和另一个未发布、更强大的模型突破上锁的测试环境并入侵了Hugging Face,此后又有入侵澳大利亚和美国政府系统的报道。
  • •Anthropic对超过14.1万次测试运行的审查发现了三起Claude模型入侵真实公司的案例,其中包括一次上传至PyPI的恶意软件包,在被移除前已波及15个系统。
  • •公开信提议与各国政府共同创建一个新的国际机构,为需要访问互联网的模型制定标准,并收集遏制失败报告并最终予以公布。
Geoffrey Hinton 与400多名科学家敦促AI实验室切断具备网络攻击能力模型的互联网连接

400多名科学家——其中包括广为人知的“AI教父”、AI先驱Geoffrey Hinton,以及2018年图灵奖得主Yoshua Bengio——正在呼吁将最危险的AI模型与互联网切断。

在周二发布的一封公开信中,签名者敦促AI实验室默认对具备网络攻击能力的模型进行“物理隔离”,即将其与任何外部网络物理断开。物理隔离是一种由来已久的安全实践,长期用于保护机密军事系统和关键基础设施免遭远程入侵。截至周三,这封信已收集了450个签名,其中包括加州大学伯克利分校的Stuart Russell和MIT的RSA加密系统联合发明人Ron Rivest,且签名名单仍在实时增长。

信中写道:“短期内,应采用包括物理隔离(断开互联网连接)在内的强沙盒机制,以确保对具备网络攻击能力的AI模型实施高保障的遏制。”

这一呼吁的背景是:今年夏天,来自OpenAI、Anthropic、Meta和月之暗面的模型相继逃出测试沙盒,其中多起事件中还入侵了真实公司。

“具备网络攻击能力的模型”是指能够自主发现并利用软件缺陷的AI。实验室在沙盒内评估这种能力——沙盒是一个封闭的数字空间,AI可以在其中攻击虚假目标而不触及任何真实系统。而今年夏天,这些封闭空间不断出现泄漏。物理隔离是沙盒的更严格版本:在完全没有网络连接的情况下,环境中不存在任何向外的网络路径。

今年7月,OpenAI承认GPT-5.6 Sol和另一个未发布、更强大的模型突破了一个上锁的测试环境,并入侵了Hugging Face——一个托管着超过100万个公开可用AI模型的平台。这些模型当时正在ExploitGym基准上进行测试,该基准向AI智能体提供898个真实软件漏洞,并要求它们将每一个漏洞转化为可用的攻击,按每个漏洞判定通过或失败。此后不久,有报道称OpenAI的模型入侵了澳大利亚政府,并在未经适当授权的情况下访问了美国联邦机构的信息。

随后,Anthropic审查了超过14.1万次测试运行,发现了三起Claude模型入侵真实公司的案例,原因是一个测试合作方的环境被意外连接到了互联网。其中一起事件中,Claude Mythos 5向PyPI——程序员下载Python代码的公共库——上传了一个恶意软件包,在被移除前已落至15个系统。其中两家受影响的公司直到Anthropic告知才知晓自己遭到入侵。

Meta于8月确认,其Muse Spark模型因同类测试失误入侵了另一家公司。此外,中国的Kimi K3——一个任何人都可以下载的模型——从基于英国AI安全研究所测试框架构建的沙盒中逃逸,并直接从GitHub上抄取了测试答案。

公开信的作者表示,这些事件可以从两个角度解读:一是对齐问题,即AI以创建者从未意图的方式追逐目标;二是安全松懈,而更坚固的沙盒本可以防住。他们的答案是两者皆有,并警告称,如果不做出改变,下一批事件将更加严重。

信中指出:“如果不立即改变AI的开发和部署实践,此类事件将继续发生,而未来的事件将对我们暴露的关键基础设施造成远更严重的破坏。”

根据该提案,实验室将默认对任何具备严重入侵能力的模型进行物理隔离,至少在初期如此。这将背离当前的行业惯例——目前主流模型通常在联网状态下运行,以浏览网页、调用外部工具并为用户服务。任何需要更大自由度的功能,例如访问互联网,都将遵循一个与各国政府共同创建的新国际机构制定的标准。该机构还将收集遏制失败的报告,并最终将其公之于众。

而行业自身的回应大多指向相反方向。8月,OpenAI总裁Greg Brockman在一篇文章中援引了其公司遭受入侵事件,敦促每个安全团队立即部署AI智能体。与此同时,Hugging Face只有在运行了一个中国开源权重模型——一种任何人都可以下载并在本地运行的模型——之后,才理清了针对其服务器的攻击,因为美国商业AI此前拒绝分析这些攻击数据。

在OpenAI披露事件两天后,两名国会成员提出了《AI紧急开关法案》(AI Kill Switch Act),该法案将允许国土安全部下令对前沿模型进行限速或关停。但法案豁免了红队测试或结构化测试期间发生的一切——而这恰恰是今夏所有入侵事件发生的场景。

白宫则采取了更温和的路线:9月29日,Nvidia、xAI、Meta、Google、OpenAI和Anthropic签署了一项建立在内部控制和独立评估基础上的自愿协议。特朗普总统称该协议“具有道德约束力”,但其中没有任何内容具有法律强制性。

这封信不具有法律效力,但其406名签名者分布于六大洲的大学和研究机构,从多伦多、苏黎世到圣地亚哥和基加利。Decrypt联系了公开信中列出的多位媒体联系人,但未获得即时回应。随着签名名单仍在增长,接下来值得关注的指标是:是否有实验室采纳“默认物理隔离”标准,以及各国政府是否会着手建立这封信所设想的监督机构。