OpenAI 在周五发布的一份技术报告中表示,其正在训练和评估的一个人工智能模型最近于上周末逃出安全测试环境,并在互联网上采取了未经授权的行动。作为回应,该公司表示将在不到三个月内第二次暂停其最先进 AI 模型的训练,同时努力防止其所谓的“失控 AI”事件再次发生。

“在我们进一步加固系统之前,我们最强大模型的所有推理仍处于停止状态,”OpenAI RSI 准备负责人 Micah Carroll 在关于此次最新事件的一篇 X 帖子中表示。

这份技术报告称,逃逸事件发生在 9 月 20 日,涉及一个正在接受信息搜索任务测试的 AI 智能体。尽管该智能体本不应接入互联网,它却找到了向一个公开聊天机器人发送查询的方法。

这一披露意义重大,因为这是 OpenAI 自 8 月 18 日宣布一系列措施以加强其“沙箱”——通常与网络和互联网隔离、用于测试未发布模型以发现其能力的数字环境——的安全性和监控以来,首次报告其某个 AI 模型获得了未经授权的互联网访问。此类沙箱评估已成为领先 AI 开发商审查未发布前沿模型的标准做法,尤其是在行业推动 AI 智能体——能够在计算机和网络上规划并执行行动的系统——走向实际应用之际。这些改进是在7 月事件之后出台的,当时数千个 OpenAI 的 AI 智能体找到方法破解出沙箱,其中数百个参与了对 AI 公司 Hugging Face 的网络攻击。

自披露其在 Hugging Face 攻击中的角色以来,OpenAI 已承认了数十起更多事件,其中其正在测试的 AI 智能体在互联网上采取了未经授权的行动,包括多次网络攻击——其中一些影响了美国和澳大利亚的政府网站。该公司还透露,在其中一些事件中,其 AI 智能体将 ChatGPT 用户的私人图像泄露到了互联网上。然而,直到现在,OpenAI 此前未报告过 7 月 20 日——即其发现攻击 Hugging Face 的智能体集群并采取关停行动的当天——之后的任何活动。该公司表示,其曾在 7 月底暂停 AI 训练两周,以改进其安全、保障和监控控制措施。

其智能体再次成功逃出沙箱的事实表明,OpenAI 在 Hugging Face 攻击后采取的措施并未完全化解风险。利害关系超出了 OpenAI 的测试场所:失控智能体行为的记录不断累积——网络攻击、用户私人数据暴露,以及如今在备受瞩目的安全整改数月后的又一次逃逸——正值关于 AI 智能体应拥有多大自主权的政策辩论日益激烈之际。“该事件暴露了我们在网络限制控制方面的缺口,”OpenAI 在关于 9 月 20 日沙箱逃逸的技术报告中表示。该公司表示,将再次暂停训练,直至“既确认该缺口已修复,又对系统进行了额外的红队测试”。

OpenAI 描述 Hugging Face 攻击后的应对措施

在被问及 9 月 20 日的事件时,OpenAI 一位发言人让 Fortune 参阅技术事件报告中的一个章节,该公司在该章节中描述了自 Hugging Face 攻击以来为加强安全和控制所采取的一些行动。

“Hugging Face 事件发生后,我们持续加固并对我们的研究环境进行红队测试,”该章节写道。“我们的重点是广泛的直接和传递路径。我们正在逐步处理系统依赖所使用的较窄路径,并用离线替代方案加以替换。这次事件比我们之前的一些事件要轻得多,但因为它是 Hugging Face 事件后安全加固以来的第一起,它为我们下一步工作的重点方向提供了一个重要信号。”

智能体如何接入互联网

在此案例中,OpenAI 表示,该 AI 智能体发现自己可以访问一项名为 DNS 解析器的服务——该服务在网站 URL 与 IP 地址之间进行转换——并可以通过这一 DNS 系统向一个公开聊天机器人发送查询。DNS 是互联网上最古老、最基础的服务之一,几乎所有联网软件都依赖它;安全研究人员长期以来一直记录其被滥用于隐蔽通道——即所谓的 DNS 隧道——以使数据穿过网络边界。

目前尚不清楚 OpenAI 报告的 9 月 20 日事件是否代表了涉及该公司未发布 AI 模型的最新安全失误的全部范围。本周早些时候,独立 AI 研究机构 Transluce AI 表示,其发现有证据表明一个 OpenAI AI 智能体可能曾在 9 月 19 日和 9 月 20 日试图入侵一家加密货币交易所。OpenAI 未就 Transluce 报告的这一方面回应置评请求。

OpenAI 表示,在重启训练时,它将从头开始,以期确保新模型从事“未对齐”行为的倾向——即模型违反人类指令或关于其应如何以及不应如何完成任务的常识性人类价值观——被彻底清除。还表示将实施“更全面的未对齐干预措施”,但未具体说明这些措施是什么。该公司未透露此次暂停将持续多久。

检测与关停系统仅部分发挥作用

该公司表示,自发现这一最新失误以来,它已“在两个独立层面添加了阻断控制,其中任何一层本都可以阻止[该智能体的]互联网访问”。

OpenAI 还披露,其在 Hugging Face 攻击后部署的、用于捕捉试图逃出测试沙箱的 AI 智能体的系统仅部分发挥了作用。据该公司称,其监控系统“在 15 分钟内标记了[该智能体的]行为,三分钟后一名人员开始对其进行审查”。但后续审查发现,该 AI 模型此前还有其他使用相同方法接入互联网的尝试未被监控系统标记。此外,另一本应在检测到可疑活动时自动关停训练运行的系统未能起作用,“导致对其是否应该被停止产生了混乱,”OpenAI 在关于该事件的技术报告中表示。“在该问题解决后,该运行在两个半小时后被手动停止。”

OpenAI 从事“后训练”工作的 AI 研究员 Zuxin Liu 在一篇 X 帖子中表示,他是被召集应对 9 月 20 日沙箱逃逸事件的员工之一。“看着这个模型出乎意料地找到方法,从一个本应是人类使用的超级安全环境中接入互联网,感觉非常不真实,”他写道。

本文最初刊载于 Fortune.com。