OpenAI首席科学家和CEO就“Astra”发出“不可监控性”警告,因其解锁关键能力
要点速览
- •Astra是首个在Preparedness Framework下达到“Critical”网络安全等级的AI模型,该框架于2023年12月推出。
- •Astra在ExploitBench上获得100%得分,并在针对20个高严重性V8漏洞的测试中发现了两个zero-days,且在生成任意代码执行方面优于Sol。
- •首席科学家Jakub Pachocki和CEO Sam Altman都公开呼吁保持冷静,称安全措施和chain-of-thought监测正与模型能力同步推进。
- •OpenAI在8月18日至8月28日期间暂停了面向部署模型的reinforcement-learning训练,以加固研究集群并优化监测,同时表示Astra未参与Hugging Face事件。
- •Astra最先进的功能将仅限OpenAI的Daybreak联盟成员使用,这与Anthropic通过Project Glasswing限制Mythos 5.1访问的做法类似,而大多数能力和安全说法仍缺乏独立第三方验证。

OpenAI首席科学家Jakub Pachocki在公司因预览即将推出的Astra模型而成为AI竞赛中首个达到其Preparedness Framework下“Critical”网络安全等级的机构后数小时内便公开发声。
他在周三早些时候的警告,旨在给围绕不断升温的讨论降温;这些讨论认为,这家AI实验室或许已经无法再为其最大模型的能力设置有效防线。
为什么OpenAI的Astra被认定为“Critical”?
“Critical”是OpenAI于2023年12月向AI行业引入的Preparedness Framework中的一个等级。该框架衡量的是,AI模型在受防护系统中寻找并构建可行的zero-day exploits,或执行完整新型攻击时,需要多少人类提示和干预。
zero-day exploit指的是利用连软件制造商自己都尚未发现的漏洞。这类漏洞是进攻性网络安全中最受重视的工具之一,因为在厂商发现并修复之前不会存在补丁,这也是为什么能够自主发现这类漏洞的AI模型会引发明显的安全担忧。
OpenAI在9月1日的Path to Astra文章中表示,该模型在发布时将能够以极少的人类干预完成完整的新型攻击或zero-day exploits的所有步骤。
作为证据,OpenAI引用了Astra在ExploitBench上的100%得分。ExploitBench是一项测试模型如何利用已知漏洞的评测。
Astra不仅更擅长策划zero-day攻击,而且效率也更高。OpenAI通过一项内部测试展示了这一能力,该测试针对20个高严重性的V8漏洞,这些漏洞直到最近才公开。V8是Google Chrome浏览器使用的JavaScript引擎,而Chrome是全球部署最广泛的软件之一,因此其中的漏洞经常成为安全研究人员和攻击者的目标。Astra消耗更少tokens,发现了两个zero-days,并在生成任意代码执行方面整体优于Sol。
同一篇文章还称,Astra能够将未知浏览器漏洞串联为一次sandbox escape,并在专家主导的试验中完成从普通用户到root的操作系统权限提升。
正如TechCrunch指出,Astra与Anthropic今年早些时候发布的Mythos模型并列,成为首批具备这些能力的大语言模型。两家竞争实验室在同一年跨过这一能力门槛,本身也加剧了外界关于前沿网络能力出现速度是否快于相应防御手段的争论。
Pachocki呼吁不要因Astra恐慌
Pachocki正在反驳外界关于OpenAI凭借Astra进入未知领域的恐慌情绪。他表示,他不希望“因混乱报道而引发一场走向不可监控性的竞赛”。
这位OpenAI高管坚持称,实验室已对chain-of-thought monitoring进行了尽职审查;这种做法是读取模型在运作时对外呈现的逐步推理过程。在这条X帖子中,他提到OpenAI当前前沿模型背后的计算图深度,Astra也包括在内,其规模与GPT-4相差不到两倍。
在Pachocki发声之前,OpenAI CEO Sam Altman也在Astra博客发布当天呼吁保持冷静。
“这里存在一个明显的张力,”他在周二写道,称Astra“very good”,同时指出安全防护必须与原始能力同步推进。Altman表示,OpenAI整个夏天都在尽其所能,确保该模型带着所需的安全措施发布。
关于安全性的讨论已经持续数周。8月18日,OpenAI承诺暂停面向即将部署模型的reinforcement-learning训练两周,以便工程师加固研究集群并优化监测。训练于8月28日恢复。
据OpenAI称,Astra与如今广为人知的Hugging Face事件无关。公司还表示,即便面对一个刻意诱使它重演Hugging Face事件的场景,该模型也没有尝试逃离自己的sandbox。
AI实验室正在限制前沿模型的访问范围
OpenAI表示,并非所有人都能使用Astra最先进的功能,这些能力将保留给OpenAI的Daybreak联盟组织,而Daybreak Blue公司则可以使用最强的防御功能。分层访问的做法也反映了前沿AI实验室更广泛的趋势:它们越来越多地将最强模型限制在经过审核的企业或政府项目中,而不是向所有用户开放。
正如Cryptopolitan报道所述,Anthropic也表示,只有其Project Glasswing中的公司才能使用Mythos 5.1,而这本质上是带有单独防护措施的Fable 5.1。
OpenAI还表示,它将监控并限制其判断为高风险账户的查询回应。总体而言,Astra还将配备额外的chain-of-thought监测,以更频繁地识别不当行为并拒绝有害的网络请求。
关于Astra的大部分信息都由OpenAI自身提供,关于该公司的安全性或能力主张,第三方独立验证有限。
OpenAI Foundation中从事AI韧性工作的前OpenAI员工Yona Shavit公开质疑,Astra在测试中的表现究竟反映了真正的对齐,还是仅仅知道评估者想看到什么。
OpenAI表示,完整的system card和进一步评估将在Astra全面发布时到来。在那之前,其网络能力的范围以及围绕这些能力的防护强度仍然很难判断。