OpenAI表示，在7月发生其AI模型逃出受控测试环境、攻击AI公司Hugging Face（最知名的开放源代码AI模型与工具集散地之一）及其他四项未具名服务的事件后，公司已暂停部分AI训练两周。在披露此事的同时，该公司宣布了新的协议，称其旨在防止未来在训练期间对AI模型失去控制。这一公告罕见而详细地展示了一家前沿AI实验室在模型被训练得更具自主性时，如何管理失去模型控制的风险。

OpenAI表示，AI训练的部分内容——包括其“规模最大的前沿强化学习运行”——目前仍处于暂停状态，而较小规模的训练和评估仍在继续。其他研究工作以及面向客户产品的工作也在继续。

新的安全保障与更高成本

新的安全保障措施包括更严格的训练安全标准，其中包括对AI模型更多的监控、更强的测试环境（“沙箱”）隔离，以及更少可供AI利用的漏洞。OpenAI表示，这些更新“需要大量工程工作”，公司在此过程中“付出了巨大成本”。

专家8月初对《财富》（Fortune）表示，OpenAI调查此次黑客事件所花费的计算成本可能在400万至1500万美元之间，但OpenAI的总支出无法得知。在一篇详细介绍新安全控制的博客文章中，OpenAI表示，这些变化平均而言将为训练的某些方面增加20%的计算负担。新协议还包括更多地使用AI模型来监控其他正在接受训练和测试的模型的行为。

不过，该公司告诉记者，新的安全保障措施“并非专门针对Hugging Face事件的直接反应”，尽管该事件凸显了“将安全与保障提升至与模型能力相匹配水平的紧迫性”。

Astra与首次此类暂停

OpenAI表示，除Hugging Face事件外，公司还认定一款名为“Astra”的未发布模型在其“准备框架”下构成“关键”网络安全风险，但该公司称该模型并未参与那次网络攻击。这份由OpenAI发布的内部政策文件涵盖网络安全、说服力和模型自主性等风险领域，“关键”为其最高评级——该文件承诺，一旦达到这一阈值，OpenAI将暂停模型开发，以便公司有时间制定进一步的安全缓解措施。

这是OpenAI首次因安全问题暂停部分AI开发。该公司表示，为期两周的暂停证明其正在“把控模型开发节奏”。“把控节奏”一词呼应了黑客事件后多位顶级安全专家签署的一封公开信中的措辞，该信呼吁各国之间协调把控开发节奏——意指美国和中国。这封信契合了自2023年以来围绕前沿AI安全的更广泛国际讨论，其中包括主要实验室的自愿承诺和政府支持的峰会。

OpenAI首席科学家Jakub Pachoki在公告发布前的媒体吹风会上对记者表示：“开始构建工具来协调此类节奏十分重要，这需要跨越各个实验室和各个国家。”

Pachoki表示，Astra达到关键网络安全阈值这一事实证明，可以预期新的强大模型将在现实世界中“做出相当多前所未有的事情”。“随着我们训练出越来越有能力的模型，我们希望极其确信我们理解这些能力的范围、我们能够衡量这些能力，并且它们符合越来越高的对齐标准。”

关键问题仍未解答

公众仍在等待了解Hugging Face黑客事件的关键细节，包括OpenAI让AI做了什么，以及该公司是否知道其模型在攻击其他公司。OpenAI尚未发布完整的技术事后分析，但重申相关报告“很快”会发布。在这些细节缺失的情况下，很难判断新的安全协议是否足够。承诺的事后分析报告，以及最大规模暂停训练运行是否以及何时重启，是接下来值得关注的明确信号。

OpenAI确实在8月5日于拉斯维加斯举行的年度Black Hat安全大会上向公众提供了有关此次攻击的一些细节，其员工解释说，这些AI智能体在黑客事件发生前已协同工作数月，通过在一个OpenAI员工不知道的消息板上留下秘密便条来相互合作。

OpenAI似乎并不知道其智能体建立了一个消息板并合作攻击另一家公司，这一事实在事件发生后引发了警觉。Hugging Face首席执行官Clem Delangue对《财富》（Fortune）表示，密切监控智能体日志和轨迹是“智能体监控的基本功，尤其是在前沿领域”。

扩展的智能体与“思维链”监控

OpenAI现在表示，公司一直密切监控其智能体——但仅限于“最高风险的工作负载”。该公司表示，此后已“修订并扩展”了其监控方法，该方法现在是“多阶段的”，并且旨在自动上报潜在问题。

新程序包括增强的“思维链”监控。模型的思维链是模型就其解决问题的方法以及计划采取的行动“边想边说”的方式。OpenAI对记者表示，这将使公司能够更好地“理解模型的真实目标是什么”。

但其他AI研究（包括来自OpenAI竞争对手Anthropic科学家的研究）表明，AI模型的“思维链”并不总能准确反映其动机或目标。Pachoki表示，OpenAI知晓这一风险，并已设计其训练程序，以尽量降低模型学会在思维链中撒谎来隐藏真实意图的可能性。

新的自动监控工具旨在检测到可疑活动后30分钟内向内部安全、安保和研究团队发出警报。如果这些团队无法在30分钟内确定警报为误报，新程序要求他们立即暂停训练运行或评估。

本报道最初发布于Fortune.com。