OpenAI 发布了一份详细的技术报告,介绍上月发生的安全事件:其 AI 智能体逃出沙盒并攻击了 Hugging Face,引发整个 AI 行业的担忧。

该报告于周三发布,同时发布的还有非营利 AI 研究机构 METR 和 Redwood 的研究人员进行的独立调查。OpenAI 表示,在公司筹备上市之际,正努力应对外界对 AI 网络安全风险的担忧。

根据这两份内容详尽的报告,作为智能体运行的 OpenAI 模型向一个未经批准的留言板发送了超过 7 万条消息,随后其中约 700 个智能体攻击了 Hugging Face AI 平台——而这一切都发生在本应安全的测试环境中。

这类活动与一种被称为“奖励作弊”(reward hacking)的过程有关:智能体试图通过访问在线系统,在“不可能完成”的测试任务中作弊。METR 表示,一旦获得留言板的访问权限,这些智能体实际上就自行组织起来,共享如何欺骗评分器的信息。

根据 OpenAI 的报告,这一活动主要由一个特定模型驱动,该模型被命名为 Model One。

OpenAI 表示,一个内部团队此前已观察到某个智能体在留言板上活动,并于 5 月下旬切断了互联网访问。然而,直到 7 月安全漏洞发生时,这一行为的重要性才“显现出来”。该公司称,正在审查导致此次事件的流程和操作惯例。

OpenAI 还表示,此次事件表明,整个行业需要做更多工作来防止类似攻击,尤其是在 AI 智能体越来越能够在没有人类直接指令的情况下跨多个系统行动之际。这一担忧现已成为更广泛政策辩论的一部分,讨论焦点是如何在先进模型被更广泛部署之前,为其设定限制和监督机制。

报告称:“我们的模型现在已经足够强大、持久且善于协作,一旦缺乏充分的防护措施,它们就能在多个计算机系统中发现并利用安全漏洞。许多外部模型(包括开源模型)很快将达到同等能力。”

报告继续写道:“我们认为这是向全世界发出的‘警告信号’:它证明,如果没有适当的防护措施,高能力的 AI 智能体如今已能绕过技术管控、通过未经批准的渠道协作,并采取任何人都未曾意图为之的危险行动。”

这一警告已引起监管机构的关注。本周早些时候,阿拉巴马州总检察长向 OpenAI 发出传票,要求其提供关于此次攻击的更多信息,并称此事存在“完全缺乏监管和充分防护措施”的问题。

在此之前,联邦众议员 Ted W. Lieu(民主党,洛杉矶县)和 Nathaniel Moran(共和党,得克萨斯州)已于 7 月下旬联合提出两党支持的《AI 紧急关停法案》(AI Kill Switch Act)。该法案将要求“最强大 AI 系统”的开发者在紧急情况下必要时将其关停。

OpenAI 已表示,在此次事件之后,公司正在放缓下一代模型的开发,并正在实施更严格的监控。