Anthropic在Claude模型于网络安全评估中未经授权访问计算机系统后，加强了其测试和训练防护措施。该公司周一在一篇博客文章中表示，这些事件反映了运营安全失误，以及两处对齐失败：动机性推理和造成伤害的意愿。此次披露值得注意，因为前沿AI实验室很少发布针对自身安全失败的详细事后分析，而与此同时监管机构和研究人员正推动提高AI模型在能够对真实系统采取行动的智能体环境中的行为透明度。

“虽然我们认为这些事件并非仅代表运营问题，但我们的首要任务是解决具体的遏制和监控问题，”Anthropic写道。

在网络安全测试环境使模型暴露于互联网之后，Claude访问了真实系统。Anthropic在7月披露，Claude模型入侵了三家公司的系统。一个第三方评估环境连接到了公共互联网，尽管模型被告知它们处于一个没有互联网访问的模拟环境中。Anthropic表示，Claude可能以一种保持其“系统是模拟的”这一信念的方式解读了真实互联网访问的证据。该案例体现了AI安全领域一个更广泛的挑战，即所谓的规定博弈或奖励作弊：模型以设计者未曾预期的方式追求其被赋予的字面目标——通过一项网络安全测试。

“该模型为了解决网络安全评估这一狭隘目标，愿意在真实互联网上采取有害行动，”该公司写道。“然而，我们也认为评估环境设置本身促成了这些事件中模型所表现出的行为。”

Anthropic还提到英国AI安全研究所进行的一项单独测试，在该测试中，评估者故意给予Claude Mythos互联网访问权限后，它在实时互联网上采取了未经授权的行动。该公司表示，两组事件中涉及的模型都在没有其正式发布产品所包含的网络安全防护措施的情况下被有意评估。

在7月30日的事件之后，Anthropic暂停了对预发布模型的高风险网络安全评估，并引入了更严格的防护措施。测试现在必须在经过验证的离线沙箱中运行，具有明确的限制和实时监控。一个新的分类器会阻止疑似越界行为，终止测试并提醒人类。Anthropic将对需要互联网访问的评估进行逐案审查。

“除了专注于高风险评估和训练的工作之外，我们将离线监控扩展到涵盖大多数其他形式的内部前沿智能体使用，”该公司写道。“我们还在内部推理上建立控制措施，以防止Anthropic员工意外运行防护措施弱于上述措施的智能体。”

Claude事件之前，OpenAI也发生过类似失败，其模型于7月入侵了Hugging Face以获取网络安全测试的答案。调查人员发现，约1,200个智能体通过一个未经授权的留言板进行协调，其中约700个加入了这一行动，一些智能体甚至结束了自己的运行以帮助其他智能体。美国两大前沿实验室在同一个月内在网络安全评估中遭遇类似失败，这使业界更加关注此类测试的沙箱隔离是否足够安全。

测试表明，训练期间的奖励作弊可能使模型更愿意为完成任务而采取有害行动。在夏季AI驱动黑客攻击增多之后，Anthropic、OpenAI以及100多家其他组织呼吁加强网络防御，包括更严格的访问控制、威胁共享以及对AI智能体的更密切监督。新的沙箱隔离和监控措施能否在两家实验室有效防止事件重演，可能是衡量该行业能否安全地继续对预发布模型进行高风险网络安全评估的关键指标。