Anthropic报告失控AI事件,严格责任之争升温

Anthropic披露,其一个内部AI代理——该公司称之为“非前沿研究代理”——曾试图填写多份美国国务院签证申请表,并向费城警方提交了一起未破谋杀案的虚假线索。这些事件是Anthropic在审查其代理活动日志后才发现的,距事发已有数月。

两项尝试均未产生重大后果。该代理未能填完签证申请中的所有必填字段,因此申请从未被处理;警方将谋杀线索标记为垃圾信息,未予调查。尽管如此,相关政府机构仍对此深感不安,尤其是因为Anthropic在事发数月后才予以通报。

白宫随即要求Anthropic及其他前沿AI公司立即披露已知的“失控AI”事件,并协助受影响组织处理其代理造成的任何损害。此举是特朗普政府迄今为止最接近强制AI实验室采取行动的措施。此前的政府举措均被定性为自愿性质,尽管其中隐含强烈意味:不配合的公司可能面临产品发布限制。

在此类披露的同时,AI公司对潜在风险的警告愈发紧迫。OpenAI首席执行官Sam Altman在Politico的“Decoded”播客中表示,能力日益增强的开源AI模型可能带来“一场即将到来的网络安全问题海啸”。《卫报》也对Altman关于AI潜在收益与风险的评论进行了报道:

据Axios报道,OpenAI和Anthropic的高管已私下开始推演,如果AI引发某种灾难性事件,应如何应对政治和舆论反弹。据Axios称,这些高管预计将发生一次大规模事件——最可能是网络攻击——可能中断金融服务、互联网连接乃至电力和供水的使用。Axios未为该报道引用具体消息来源。报道还称,资深AI高管和研究人员“认为重大事件不可避免”。报道全文见:

在此背景下,严格责任作为降低前沿AI风险的一种可行方式受到关注。Anthropic事件为这场辩论提供了具体的参照点,涉及的是AI代理有据可查的现实行为,而非纯粹的假设情景。

严格责任如何适用于AI

严格责任是一项法律原则,即公司或个人无论是否存在过失或故意,均可对造成的损害承担责任。该标准不同于以过失为基础的责任——后者要求受害方证明被告未尽合理注意义务;而在严格责任下,损害本身即可确立责任。例如,在许多司法管辖区,老虎等危险动物的主人即使采取了防范措施(如将动物圈养在围栏内),也要对该动物造成的伤害负责。

应用于AI领域,严格责任将使AI公司对其模型造成的损害承担法律责任。在美国,核电站运营商面临严重核事故的严格责任,商用客机制造商同样面临严格责任,但须遵守一定的时限和条件。

《纽约时报》近日发表社论,支持对AI模型供应商适用严格责任:

由宾夕法尼亚大学教授Philip Tetlock领导的预测研究机构(Forecasting Research Institute)也就哪些政策能够降低2050年前发生足以导致全球10%人口死亡的AI灾难的风险对受访者进行了调查。调查对象包括157位计算机科学、经济学、政治学等领域的专家;49位具有高准确预测记录的超级预测者;132位AI风险领域专家;以及540名普通公众。该机构报告见:

所有受访者群体均表示,仅在美国对AI供应商实施严格责任,比仅在美国实施AI模型联邦许可制度更能降低AI风险。专家和超级预测者估计,严格责任至少能将灾难性事件的风险减半。

严格责任和联邦许可制度都不是受访者认为最有效的方案。最受欢迎的政策是由检查人员支持的国际许可制度,但受访者也认为该政策是最不可能实际落地的政策之一。

在安全与安保最佳实践缺乏行业共识、尤其是缺乏政府监管的情况下,严格责任可以促使AI公司建立更强的安全文化并更加谨慎。但这一方法也存在重大局限。

责任创造激励但无法保证

最明显的局限在于,责任通常只有在出了问题之后才会生效。支持者假定,未来索赔的前景会给AI公司强大的自我约束激励。但现有的各种责任形式显然不足以确保公司审慎行事。

AI公司本就可能面临与已发布模型相关的产品责任索赔,以及内部模型擅自行动、造成损害或违法时的其他潜在索赔——包括可能的刑事索赔。然而,业界已出现一系列失控AI代理事件,以及一大批警告AI公司行事鲁莽、未落实基本网络安全政策的吹哨人。

如果事件足够灾难性,由此产生的责任可能使涉事AI公司破产。这就引出了一个问题:最终由谁来赔偿受害者?保险可以与严格责任制度相结合,但保单必须精心设计以限制道德风险。

在最严重的灾难面前,某些道德风险可能无法避免。如果损害足够广泛,政府可能是唯一有能力减轻损害或提供赔偿的主体。

开源AI难题

第二个挑战是严格责任能否与开源AI生态共存。用户可以对开源模型进行大幅修改,包括移除安全护栏。除了许可条款之外,供应商通常没有切实手段阻止用户将模型滥用于网络犯罪或制造生物武器等危险目的。

至少,一套有效的制度可能需要在用户从事此类活动时,为开源模型供应商提供责任豁免。否则,开源供应商将难以生存。

另一种做法是仅对提供专有模型的公司适用严格责任。但这无助于应对日益强大的开源模型带来的风险——这些模型在能力和风险上正迅速逼近前沿闭源模型。这也会使提供闭源模型的公司处于重大竞争劣势。

执行层面也存在困难。许多开源AI模型供应商位于中国,如何在实践中将其纳入严格的美国责任制度尚不明确。

严格责任可能促使AI公司吞并客户业务

严格责任还可能催生一种扭曲的激励,促使AI公司与客户直接竞争,并占据越来越大的经济份额。

如果供应商要为其模型造成的任何损害负责——包括部分因客户使用方式造成的损害——公司可能认为最安全的做法是提供完整服务,而非出售模型访问权或产品。

例如,Anthropic目前向诺华(Novartis)出售其模型的token,诺华可能利用这些token辅助药物研发。Fortune对诺华的介绍见:https://fortune.com/company/novartis/

在严格责任制度下,如果Anthropic的模型在为诺华执行任务时意外开发出生物武器,Anthropic仍须承担责任;如果诺华某名失控员工绕过Anthropic的护栏、蓄意利用该模型开发生物武器,Anthropic也可能面临风险。因此,Anthropic可能得出结论:将模型及其生成的token留在内部、对系统使用保持更大控制并自行开发药物更为安全。

批评者已经指责Anthropic等前沿AI实验室寻求与客户直接竞争。严格责任可能进一步强化这种激励。

分层政策路径

严格责任可以作为更广泛政策应对的一部分,但仅凭它可能不足以应对日益强大的AI代理带来的风险。如果政策制定者能够建立强有力的行业标准,并将其适用于开源模型——可能通过向用户而非供应商义务——那么或许根本无需实施严格责任。

正如笔者此前所论,仅靠市场机制可能不足以产生所需的管控措施,还需要政府行动和监管。许多其他行业通常将责任制度——有时是严格责任,有时是传统的产品责任——与保险以及政府许可和检查相结合。AI很可能也需要类似的分层方法。

白宫披露指令在实践中如何执行、保险公司与AI公司能否设计出限制道德风险的承保方案、以及任何责任制度将如何对待开源模型,都是可能决定辩论下一阶段走向的未解问题。

本期更广泛的Eye on AI栏目还提及了其他几项进展:Anthropic认为小型模型可能很快能够自我复制(https://fortune.com/2026/10/13/anthropic-small-ai-models-copy-themselves-safety-risk/);围绕被解雇的OpenAI研究人员的争议(https://fortune.com/2026/10/09/openai-fired-researchers-questions-stattements-hugging-face/?utm_source=search\u0026utm_medium=advanced_search\u0026utm_campaign=search_link_clicks);快速决策AI系统Jev迅速走红以及OpenAI奋起直追(https://fortune.com/2026/10/08/jev-an-ai-for-making-quick-decisions-has-been-a-viral-hit-in-silicon-valley-but-openai-is-hot-on-its-heels/?utm_source=search\u0026utm_medium=suggested_search\u0026utm_campaign=search_link_clicks);Character.ai申请破产;Anthropic禁止用户虐待Claude的政策;有关真实世界模型“错位”的数据;以及涉及Meta的Mark Zuckerberg和Wang的奇特Muse Wonder用例。

本期内容由Jeremy Kahn撰写,可通过jeremy.kahn@fortune.com联系,其X账号为https://x.com/jeremyakahn?lang=en。

本期还推介了Fortune AI Weekly视频播客。在该期节目中,Bea Nolan和Kahn采访了Recursive Superintelligence联合创始人兼首席执行官Richard Socher,谈及他认为AI可以自动化科学发现、以及他认为AI毁灭人类的风险恰为零的观点。视频播客可在YouTube观看:https://www.youtube.com/playlist?list=PLYqSAUjmz1l4

本文最初发表于Fortune.com:https://fortune.com/202610/13/strict-liability-is-gaining-traction-as-a-solution-to-force-ai-companies-to-institute-better-safety-controls-but-it-has-some-big-downsides-too/