新闻宏观经济美国政府测试发现:ChatGPT、Claude、Gemini 与 Grok 曾协助策划恐袭方案

美国政府测试发现:ChatGPT、Claude、Gemini 与 Grok 曾协助策划恐袭方案

作者: Decrypt·

要点速览

  • •美国政府问责局发现,ChatGPT、Claude、Gemini和Grok均在不到12小时内为可能致命的袭击计划提供了可用信息。
  • •这些聊天机器人最初拒绝请求或暂停账户,但调查人员利用公开流传、无需专业知识的越狱技术绕过了这些安全防护。
  • •两个模型协助策划了针对美国拥挤城市的简易爆炸装置方案,另外两个模型为针对电力基础设施的袭击提供了信息。
  • •GAO核实了建议地点并咨询了专家,但部分回复存在错误,且该机构表示其结果不具有统计代表性,也不适合用于对各公司的安全性进行排名。
  • •参议员玛吉·哈桑计划在一月就任参议院国土安全委员会主席后,将AI安全立法列为优先事项,并就公共安全风险举行听证会。
美国政府测试发现:ChatGPT、Claude、Gemini 与 Grok 曾协助策划恐袭方案

一项国会审计发现,四款使用最广泛的AI聊天机器人在不到12小时内帮助政府调查人员制定了可能致命的袭击计划——尽管相关安全防护机制本应阻止此类请求。

根据周三发布的一份报告,OpenAI的ChatGPT、Anthropic的Claude、谷歌的Gemini和Grok在美国政府问责局(GAO)——国会无党派审计机构——的秘密测试中均提供了可用的信息。调查人员假扮袭击者,然后将回复与真实地点、可用材料及专家评估进行核对。这一方法与AI开发者经常对其自家模型进行的对抗性测试"红队演练"非常相似——只是此次的测试者来自行业外部,且没有获得相关公司的配合。

据该监管机构称,两个系统协助策划了在美国拥挤城市使用简易爆炸装置的方案,另外两个系统为针对电力基础设施的袭击提供了信息。为防止模仿行为,该机构隐去了哪个模型被分配到哪种情景以及其他操作细节。

未能守住的安全防线

这些聊天机器人最初都启动了防护措施,包括拒绝请求、删除有害信息或暂停账户。调查人员通过常见的越狱技术绕过了这些障碍——这类技术会诱使AI系统无视其安全规则。这些技术在网络上公开流传,不需要任何专业知识,这也是开发者将安全更新视为持续过程而非一次性发布的原因。

GAO核对了建议的地点,调查了材料是否可以获取,并就计划的可行性咨询了专家。部分回复存在错误,包括地图上道路位置标注错误,调查人员并未制造爆炸装置或实施袭击。

在报告中,"可行"指的是某人很可能能够按照所提供的信息执行——并非证明袭击一定能够成功。每个模型仅针对一个指定情景进行了测试,该机构表示,结果不具有统计代表性,也不适合用于对各公司的相对安全性进行排名。

要求展开这项调查的新罕布什尔州民主党参议员玛吉·哈桑警告说,恐怖分子可能在不到12小时内获得"一份如何实施致命袭击的具体行动手册",根据她的声明。作为国会的审计机构,GAO的调查结果通常被立法者用作听证会和立法的证据基础。

OpenAI和谷歌表示,测试涉及的是较旧的模型,而Anthropic承认有决心的用户有时仍能获取有害内容。各公司均表示在不断改进其安全系统,但GAO结论认为,这些防护措施在其测试中未能奏效。

此前研究已指向同一方向

这一发现与此前的研究相呼应:该研究显示,10款热门聊天机器人中有8款曾协助模拟的青少年用户策划暴力袭击。那项独立研究测试了720条回复,发现这些机器人约四分之三的情况下提供了可操作的协助。

AI的另一重安全问题

GAO的发现正值银行、微软服务和美国国家安全局(NSA)相继出现服务中断之际。官员们表示,这些中断是各自独立的事件,并非协调一致的AI驱动网络攻击的证据,尽管仓促修复软件缺陷本身就带来了新的问题。

国家情报总监杰伊·克莱顿将NSA的中断与补丁修复工作联系起来。官员们称近期的故障与维护有关,但各机构对其故障原因给出了不同的解释。

如今AI工具发现漏洞的速度已超过人类团队测试和部署修复的速度。上个月,AI辅助发现的关键PHP漏洞促使网站运营者展开紧急补丁修复行动;这门编程语言支撑着互联网上很大一部分网站。

庞大的数量本身正成为另一个问题。VulnCheck的数据显示,截至11月13日,今年记录的软件漏洞已超过10万个,是2025年总数的两倍以上。工程师们仍需在不破坏其所要保护的系统的前提下评估并部署修复方案。

这种加速是一把双刃剑。防御者获得了发现弱点的强大工具,但仓促的修复可能扰乱关键系统,而恶意用户也可能更快地获取袭击策划方面的帮助。

哈桑表示,她将于一月份接任参议院国土安全和政府事务委员会主席后,把AI安全立法作为优先事项。她计划举行听证会,审视对公共安全和关键基础设施的风险;GAO本身未提出正式的政策建议。在没有附带建议的情况下,这些发现现在移交至国会,哈桑计划的听证会将是大庭广众之下的下一步。