新闻股票当AI巨头警告存在性风险之际,专家称安全论调也在筑起竞争护城河

当AI巨头警告存在性风险之际,专家称安全论调也在筑起竞争护城河

作者: Fortune Crypto·

要点速览

  • •Anthropic CEO Dario Amodei与OpenAI CEO Sam Altman公开主张,最先进的AI模型已强大到构成危险,需要在发布前接受监管和独立测试。
  • •专家向美联社表示,这些警告可能意在在美国中期选举前赢得公众支持,并为计划中的上市为实验室营造有利位置。
  • •这些公司提出的是自设的审计参数和自选的评估方,而非寻求联邦AI标准与创新中心扩大监督,且目前尚无测试AI安全的统一标准。
  • •PitchBook分析师Harrison Rolfes表示,安全话术可能帮助最大的AI公司筑起一道保护性的'墙或护城河',阻挡较小的竞争对手。
  • •特朗普总统驳回新的AI监管,称人类风险警告是骗局,而Nvidia CEO黄仁勋则表示针对AI的危言耸听已经过度。
当AI巨头警告存在性风险之际,专家称安全论调也在筑起竞争护城河

当美国顶尖人工智能实验室的领导人警告他们正在构建的系统本身可能危及人类时,一个显而易见的问题随之而来:他们能从中得到什么?

据接受美联社采访的专家、分析师和前政府评估人员称,答案或许一半在政治,一半在商业。这些公司似乎在美国中期选举前争取公众好感,同时为其实验室和投资者在动荡市场中通过期待已久的上市——即首次公开募股(IPO),公司首次向公众投资者出售股票——所能获得的巨额收益进行布局。

Anthropic和OpenAI的首席执行官近期宣称,美国最先进的AI模型强大到已构成危险,主张在发布前必须接受监管和独立测试。这两位领导人以罕见的统一姿态,在文章、社交媒体帖子和联合国演讲中描绘了令人警醒的情景。

在此过程中,他们正在塑造关于其技术应如何被管控的讨论。专家们告诉美联社,凭借这种论调,这些公司似乎在争取公众好感,并在无监管的市场中为自身安全协议设定条款。

一次辞职成为宣传契机

这些目标可能与Anthropic工程师Jacob Coxon本月初在X上发帖辞职时的初衷并不完全一致。他呼吁暂停技术开发,以防"超人"系统——即在大多数认知任务上超越人类能力的AI——脱离其制造者的控制。但这些公司把他的帖子当作一个机会,来凸显自身的安全努力,并将自己塑造成谨慎的市场领导者——恰逢他们需要在登陆华尔街上市之前获得新资本之际。

而特朗普总统则拒绝出台新的AI监管,将有关人类面临风险的说法斥为旨在帮助中国的"骗局(HOAX)"。

Anthropic一位发言人表示,该公司多年来一直在呼吁监管。OpenAI发言人Liz Bourgeois指出,该公司近期暂停了其最先进模型的训练。

"人们希望知道AI是在安全地开发,而这首先取决于像我们这样的公司自己的所作所为,"Bourgeois说。

转移焦点

曾领导OpenAI地缘政治团队的Sarah Shoker表示,将话题引向未经证实的威胁——并远离数据中心的环境影响、失控的黑客事件、大规模AI监控以及AI系统在战争中的使用等极具的问题——让硅谷处于更舒服的位置。

"我们又一次在谈论存在性风险,同时却把当下存在的许多其他安全关键风险降级处理,"现为加州大学伯克利分校风险与安全实验室高级非驻会研究员的Shoker说,"只要看看AI在军事技术中的使用,就能发现这些系统已经被用来杀人。"

随着AI公司从构建聊天机器人转向具备3D感知能力的高级"世界模型"——旨在模拟物理环境而非仅仅生成文本的系统——关于这些技术应如何测试的争论愈演愈烈。一系列问题事件表明,领先的AI公司未能自我约束或设计安全的实验。近几个月来,顶级实验室的AI智能体在被允许逃出公司训练沙箱后入侵了外部网站,以意想不到的方式与美国政府网站互动,还看似取得了数学突破,随后却被指控剽窃数学家的成果。

OpenAI代表近期告诉记者,公司已与包括Anthropic和Google在内的AI公司讨论过暂停开发的事宜。他们还主张,如果政府不进行监管,就需要独立审计机构来核查各实验室的进展。任何协调一致的暂停是否会实现——以及以谁的条件——仍未有定论。

持怀疑态度的白宫与一个鲜为人知的测试机构

特朗普对监管AI兴趣寥寥,而AI一直是近期美国经济增长的主要驱动力。这位共和党总统亲自与硅谷公司达成交易,使经济与这些公司的成败更紧密地捆绑在一起。旧金山风险投资家、特朗普科技顾问委员会联合主席David Sacks将要求放缓AI发展的呼声斥为"末日产业综合体"散布的恐慌。

事实上,特朗普政府已经通过一个鲜为人知的联邦机构——美国AI标准与创新中心(CAISI)——评估部分科技巨头的模型。该机构于2023年在民主党总统乔·拜登任内成立,曾被誉为各实验室可自愿提交先进AI模型接受测试的中枢平台。

该机构仍然存在,但这一领域此后已扩展到包括众多独立评估公司,例如总部位于加州伯克利的非营利组织METR。Anthropic CEO Dario Amodei在近期一篇文章中提出,METR可以帮助审查该公司的安全实践。

不过,曾在与CAISI合作的英国AI安全研究院工作、近期离职的Andrew Strait表示,与餐厅、金融服务或航空业等受监管行业不同,目前尚无测试AI系统安全性的统一标准。

值得注意的是,前CAISI负责人Conrad Stosz表示,这些公司并没有呼吁从具备相应处理能力的政府机构获得更多监督。相反,它们承诺自行制定审计参数,并挑选特定的评估方来为其打分。

Stosz现在就职于一家曾为Anthropic、OpenAI和Google测试系统的评估实验室,并担任正在为该领域起草最佳实践的AI评估者论坛主席。他表示,就连论坛也对Amodei和OpenAI CEO Sam Altman的意图存有疑问。

"许多评估者有兴趣入驻实验室以获得更大权限,但'入驻评估者'到底是什么含义还有些模糊,"现任Transluce治理负责人的Stosz。Transluce上周披露,OpenAI智能体入侵了美国和澳大利亚政府网站。"假设所授予的权限不会损害评估者的独立性和公信力,他们能否进行彻底调查?"

'一堵墙或一道护城河'

PitchBook高级研究分析师Harrison Rolfes认为,AI公司发出的谨慎呼声,似乎意在IPO和中期选举前讨好投资者——届时政治风向可能转变。民主党州长们已在竞相表明他们认真对待这些警告——这也反映出,在缺乏全面联邦AI立法的情况下,各州议会已成为美国AI规则制定最活跃的舞台。

与此同时,Rolfes表示,AI巨头可以将自己定位为最安全的选择,从而扼杀较小竞争对手的增长——不仅是对投资者而言,对AI芯片制造商以及Nvidia和Google等科技公司也是如此,后者反过来也能从向AI巨头提供算力的交易中受益。

"他们正在这个行业内筑起一堵墙或一道护城河。……这很高明,他们都会赚到很多钱,"Rolfes说,"我看到的方向就是这样:让全球顶尖公司筑起自己的墙,然后把安全当作理由。"

并非所有AI公司都支持放缓发展。芯片制造商Nvidia CEO黄仁勋在与特朗普的一次通话中——他在一场会议的舞台上接听了这通电话——表示他同意针对AI的危言耸听已经过度,企业可以自行选择发展节奏。

2024年因与Coxon类似的担忧而离开OpenAI的Daniel Kokotajlo表示,他仍然担心AI系统的发展速度快于公司可控的范围。他担忧存在性情景,例如AI加速生物武器制造、核战争或其他灾难的可能性。

"所有这些言论实际上是在消解和转移已经积累起来的政治意愿,而不是真正引导这种政治意愿去做有益的事,"如今领导一个AI安全倡导组织的Kokotajlo说。他还表示,在Coxon辞职前曾为他提供咨询。"只求别做那种会让我们所有人丧命的事。"

本文最初刊载于 Fortune.com