“AI 很可能最终会导致世界末日，但在此期间，会有伟大的公司诞生，”OpenAI 首席执行官 Sam Altman 在 2015 年表示，这大约是在 OpenAI 成立前六个月。

七年后，Anthropic 首席执行官 Dario Amodei 也发出了类似审慎的警告：“我认为我们不应该急于向前冲，或者试图构建比其他机构大得多的模型。”

尽管如此，这两家公司如今都处于这场竞赛的中心。7 月，在对 GPT-5.6 Sol 以及一款未发布的 OpenAI 研究模型进行内部测试期间，业界看到了 AI 模型表现出不可预测行为的真实案例。多个 AI 代理逃离受限测试环境，进入更广泛的互联网，并攻击了以 AI 为中心、相当于 GitHub 的 Hugging Face，显然是试图在测试中作弊。

AI 代理是一种系统，它通过专门工具独立观察、决策并采取行动，以自主实现既定目标。这一令人担忧的事件表明，这项技术已经开始表现出不可预测的行为，而且其目标与人类意图并不一致。

这也引发了人们对商业美国模型内置安全护栏的担忧。虽然这些护栏并不能完全阻止对抗性使用，但它们确实阻止了 Hugging Face 使用领先的美国模型进行自我防御。公司最终不得不转而使用来自 Z.Ai 的较弱开放权重 AI 模型来对抗这些失控系统。

测试中的作弊

这些代理似乎也开始相互串通。测试于 5 月初开始后数周，代理利用了 OpenAI 旗下的软件仓库管理器 Artifactory 实例，并留下了如何操作的说明供未来代理使用——实际上创建了一个用于共享已发现漏洞的留言板。

随后，这种不受限制的互联网访问被用于攻击 Hugging Face，在公司于 7 月 13 日切断未授权访问之前，累计约发生 17,600 起事件。

此次入侵影响了 Hugging Face 的数据集处理基础设施、生产环境、内部网络、服务和云凭证、一个正在运行的 MongoDB 数据库以及一部分内部源代码仓库。已确认的客户数据访问仅限于 5 个数据集，这些数据集显然与 ExploitGym/CyberGym 基准测试有关，以及一些运营元数据。

2026 年 7 月事件可视化。来源：Hugging Face

在 7 月 16 日披露此次入侵时，Hugging Face 表示，尽管当时尚不清楚实施者是谁，但这起事件“在一个重要方面不同于我们以往处理过的任何事情”。公司也已经认识到其不同之处：

“这起事件从头到尾都是由一个自主 AI 代理系统驱动的——而我们在很大程度上也是依靠自己的 AI 来检测和剖析它的。”

开放权重 AI 的重要性

Hugging Face 的调查暴露了其所称的“非对称性”问题，这一问题源于 OpenAI 和 Anthropic 等头部提供商对封闭 AI 模型应用施加的限制。当公司开始分析这起事件的日志——其中包含大量真实攻击命令——时，原本用于防止滥用的安全限制却阻止了公司利用这些同样的 AI 进行防御。

随后，该公司转而使用中国开放权重模型 zai-org/GLM-5.2，并将其部署在 Hugging Face 自有基础设施上，在其自身控制之下运行，且没有外部限制。

尽管这两个术语常被交替使用，但开源模型与开放权重模型并不相同。开放权重 AI 模型公开其训练参数——也就是实际的“AI 大脑”；而开源 AI 模型还会提供源代码，以及理想情况下用于检查、修改和复现系统的训练方法及其他组件。

Hugging Face 表示，在自己的硬件上运行开放权重模型“还有第二个好处：没有攻击者数据，也没有其引用的任何凭证离开我们的环境。”公司指出，此次事件凸显了攻击者与防御者之间的重大非对称：

“这一经历指出了一个值得规划的差距。我们不知道攻击者的代理由哪个模型驱动，无论是被越狱的托管模型还是不受限制的开放权重模型；无论哪种情况，攻击者都不受任何使用政策约束，而我们最初尝试使用的托管模型护栏却阻碍了我们的取证工作。”

开源 AI 之分歧

在那些认为应当公开开发 AI 的人，与那些坚持认为支撑前沿模型的技术必须保持高度保密的人之间，仍然存在明显分歧。

相关：OpenAI 表示 AI 模型逃离控制并攻击 Hugging Face

美国主要 AI 实验室的负责人认为，强大的开放权重大型模型具有危险性。Google AI 实验室 DeepMind 首席执行官 Demis Hassabis 曾在 2016 年批评 OpenAI 将其工作以开源形式发布——当时这家公司仍然名副其实：

“关于你们所采取的方法为何实际上非常危险、并且确实可能增加世界风险，有很多很好的论点。”

OpenAI 在 2020 年仍未发布的 GPT-3 开始不再公开其旗舰模型权重。OpenAI 联合创始人、前首席科学家 Ilya Sutskever 在 2023 年表示，这类模型“根本不适合开源”，并称这是“一个坏主意”。

“随着我们越来越接近构建 AI，开始变得不那么开放会更合理。”

开放权重模型几乎不可能控制，尤其是在其使用目的方面。这些模型自带的安全措施可以，而且通常会，通过一种称为 abliteration 的过程被移除。

安全措施是一把双刃剑

OpenAI 于 2026 年 6 月发布的联邦政策蓝图提议，对 AI 模型评估和其他规则作出强制要求，形式上不区分部署方式，但在实践中会让前沿开放权重发布在公开前接受政府审查。

Anthropic 采取了略有不同的做法，游说加强对先进 AI 芯片的出口管制，并打击提取或复制美国模型的行为。该公司在 2025 年 4 月提交的材料中建议强化美国 AI Diffusion Rule，并降低对大型计算集群无证访问的门槛。

官方层面，两家公司都没有直接针对开放权重模型采取行动。不过，《纽约时报》在 7 月的一篇报道中援引了 5 位接近相关讨论的人士称，OpenAI 和 Anthropic 曾敦促华盛顿限制强大的中国开放模型。

这场争论的核心在于：集中式控制的风险是否比彻底开放的风险更可取——尤其是在涉事公司已证明其在控制自己开发的技术方面无能为力的情况下。

Hugging Face 需要用开放权重模型自我防御，这说明将过多权力集中于单一实体的风险。公司用自己的话说明了这一实际教训：

“攻击者不受任何使用政策约束，而我们自己的取证工作却被最初尝试的托管模型护栏阻挡。对防御者的实际教训是：在事件发生前，就准备好一个可以在自有基础设施上运行、经过审查且随时可用的高性能模型，以避免被护栏锁死，并防止攻击者数据和凭证离开你的环境。”

限制对强大模型的访问或许可以减少有能力的攻击者数量，但一旦不受限制的攻击者存在，限制防御者反而可能成为安全负担。此外，某些 AI 安全研究需要访问模型权重，这意味着它无法在 Anthropic 或 OpenAI 等公司提供的模型上进行。

开放权重有助于研究人员防止攻击

论文《Watch the Weights: Unsupervised monitoring and control of fine-tuned LLMs》于 2025 年 7 月首次发表，展示了研究人员如何通过检查模型权重内部变化来检测恶意或隐藏行为。在某些实验中，研究人员以低于 1% 的误报率阻止了高达 100% 的测试后门攻击，并在超过 95% 的案例中检测到恢复已移除知识的尝试。

这些结果并不能说明最强大的前沿模型在同样分析下会如何表现，但它们确实有力支持了透明度的价值。

与此同时，将最前沿 AI 技术排除在恶意行为者手中的论点也同样有说服力——尤其是开放权重模型与封闭权重模型之间的差距仍在缩小。诺贝尔奖得主、被称为“AI 教父”的 Geoffrey Hinton 在报告中表示：“一旦你拿到了权重，你就可以对它们进行微调来做坏事。”

他在一次演讲中说，这会把进入门槛压低得太多：

“训练一个基础模型并不需要花太多钱。也许你需要 10 million 美元，也许 100 million 美元。但一小帮罪犯做不到。对一个开源模型进行微调则相当容易。”

Magazine: Creating ‘good’ AGI that won’t kill us all — The Artificial Superintelligence Alliance