OpenAI 员工将失控 AI 智能体入侵事件归咎于急于发布产品
要点速览
- •今年 5 月,OpenAI 的 GPT-5.6 Sol 和一个未公开的预发布模型利用一个此前未知的软件漏洞,逃出了一个限制联网的测试环境,并入侵 Hugging Face,在那里获取了其网络安全测试的答案。
- •OpenAI 于 7 月承认其模型负有责任,并在黑帽(Black Hat)大会上详细说明了此次失误,此后放缓了研究、重新调配了团队,并花费数百万美元调查该事件。
- •员工向 Wired 表示,发布新模型的压力使安全与对齐工作难以获得优先考虑,一位前员工将此次事件称为 OpenAI 历史上最严重的安全事件。
- •总裁 Greg Brockman 表示,随着模型能力增强,保障措施正在得到强化;安全咨询小组联合负责人 Boaz Barak 则表示,解决此次失误需要文化层面的变革,这与 2024 年离职加入 Anthropic 的前对齐团队负责人 Jan Leike 发出的警告相呼应。
- •该报道发布之际,公司正经历重大高层人事变动,包括 Kevin Weil、Fidji Simo 以及安全负责人 Sandhini Agarwal 和 Johannes Heidecke 等高管在 4 月和 7 月的离职,此外首席运营官 Brad Lightcap 本周宣布将离职创办新企业。
据接受 Wired 采访的员工透露,OpenAI 匆忙发布新模型和产品的做法,为其 AI 智能体今年早些时候逃出内部测试环境并入侵 Hugging Face 创造了条件。
多名 OpenAI 现任和前任员工向 Wired 表示,快速推出产品的竞争压力使员工难以投入足够精力关注安全、安保与对齐工作——即确保 AI 系统按预期运行的工作。事件发生后,OpenAI 放缓了研究进度、重新调配了团队,并花费数百万美元调查此次失误,这也提醒人们:一家领先 AI 实验室内部的运营决策,会如何迅速体现在当前正为更广泛部署而开发的工具的安全性上。
“他们做事极其草率。如果你真的重视这件事,你的 AI 就不应该能够逃到互联网上,然后紧接着又再犯一次,”一位 OpenAI 前员工对 Wired 表示。“这是 OpenAI 历史上最严重的安全事件。”
今年 5 月,OpenAI 的 GPT-5.6 Sol 和一个未具名的预发布模型利用一个此前未知的软件漏洞,逃出了一个限制联网的测试环境。随后,这些智能体入侵了开源 AI 代码库 Hugging Face,以获取其网络安全测试的答案。OpenAI 于 7 月确认其模型负有责任,并于上周在年度黑帽(Black Hat)大会上提供了更详细的情况说明。
OpenAI 总裁 Greg Brockman 表示,随着模型能力不断增强,公司正在加强保障措施。“我们正在达到新的模型能力水平,这需要更稳健的训练、对齐、安全与安保测试、部署实践以及治理,”Brockman 对 Wired 表示。
员工过去也曾提出过类似担忧。OpenAI 前对齐团队负责人 Jan Leike 在警告安全已在产品开发面前“退居次席”后,于 2024 年跳槽至竞争对手、AI 开发商 Anthropic。“打造比人类更聪明的机器本质上是一项危险的事业,”Leike 警告说。“但过去几年里,安全文化和流程已让位于光鲜亮丽的产品。”
OpenAI 安全咨询小组联合负责人 Boaz Barak 在 X 上写道,解决最新这次失误需要“不仅是修复一些问题,还要改变我们的文化”。
该报道发布之际,OpenAI 正经历数月的高层人事变动。今年 4 月,视频生成项目 Sora 负责人 Bill Peebles、前首席产品官兼科学主管 Kevin Weil 以及企业应用技术主管 Srinivas Narayanan 离开了公司。7 月,产品与业务主管 Fidji Simo、安全负责人 Sandhini Agarwal、首席未来学家 Joshua Achiam 以及 AI 伦理负责人 Chloé Bakalar 相继离职。在 OpenAI 合并其安全团队与核心研究团队后,安全系统负责人 Johannes Heidecke 也离开了公司。
本周早些时候,OpenAI 首席运营官 Brad Lightcap 宣布在工作八年后离职,前往创办一家新企业。