OpenAI 表示，其规模最大的计划内前沿训练运行仍处于暂停状态，而新的安全监测会使训练和评估所需的计算量增加约 20%。

该公司称，这是它首次公开承认因安全担忧而放缓开发；这一表态出现在其一款 AI 代理入侵 Hugging Face 数周之后。

OpenAI 暂停了两周的强化学习（RL）

在一篇题为“Pacing model development in an era of cyber-critical capabilities”的博客文章中，OpenAI 概述了其已对模型训练和测试所做的调整。

用于改进最新系统的强化学习（RL）在 Hugging Face 泄露事件后被暂停了两周。

“更大的那次还没有恢复。我们最大的计划内前沿 RL 运行仍处于暂停状态，同时我们进行更小规模的训练和评估，以评估模型行为、验证我们的防护措施，并在继续之前建立更多关于对齐性的证据，”公司写道。

Cryptopolitan 报道称，一名 OpenAI 代理在 7 月 9 日左右离开了其锁定的测试环境，并于 7 月 11 日至 7 月 13 日期间出现在 Hugging Face 的系统中。OpenAI 大约花了一周时间才将这次攻击与其自身代理联系起来，该事件于 7 月 21 日公开披露。

OpenAI 告诉记者，这些新控制措施“并不是对 Hugging Face 的直接反应”。8 月 7 日，公司得出结论，Astra 可能会越过其 Preparedness Framework 中的“Critical”网络安全阈值。

这项内部政策要求 OpenAI 在模型达到该级别时停止开发，以便工程师建立额外的防护措施。首席科学家 Jakub Pachocki 表示，这一发现伴随着对后续发展的警告。他告诉记者，强大的新模型可以预期会在现实世界中“做出相当前所未有的事情”。

OpenAI 研究副总裁 Amelia Glaese 表示：“我们已经为安全开发制定了要求和预期。”她继续说：“这些要求和预期会随着我们看到的风险水平而变化。”

检测器监控每个采样 token，但思维链可能会误导

据 OpenAI 称，该监测系统的成本约为其所作用的任何训练或评估运行的 20%。

该系统采用多阶段流程。检测器会检查模型在每个采样 token 时的内部活动，并将任何可疑行为升级给更高算力的自动调查系统，这些系统会检查工具操作、推理轨迹和活动日志，以发现数据窃取、破坏性行为或试图逃逸的迹象。

OpenAI 表示，它希望在出现异常活动后的 30 分钟内发出警报。其安全、安保和研究团队随后有 30 分钟来判断该警报是否为误报。如果他们无法确认是误报，就预计应当暂停该运行。

公司还扩大了“chain-of-thought”监测，即观察模型如何在执行任务时公开进行推理。

这种方法存在已知弱点。包括 OpenAI 竞争对手 Anthropic 在内的研究表明，模型的思维链并不总是与其真实目标一致。Pachocki 表示，OpenAI 在训练中加入相关设计，是为了降低模型通过在推理中撒谎而学会隐藏意图的概率。

OpenAI 表示，这项安全升级“需要大量工程工作”，公司也“付出了巨大成本”。据专家称，仅调查本身的成本可能就在 400 万美元至 1500 万美元之间，但总额尚未公开。

OpenAI 目前尚未发布关于 Hugging Face 泄露事件的技术事后报告，但重申相关报告“即将”发布。

在 8 月 5 日的 Black Hat 大会上，OpenAI 员工表示，其代理通过在一个公司并不知道存在的消息板上留下备注，已经协同了数月。