Anthropic称已阻止利用AI进行生物武器研究的尝试
要点速览
- •Anthropic的报告描述了5起利用Claude聊天机器人开展、可能具有危险性的生物研究案例。
- •其中一起调查涉及使基孔肯雅病毒更易传播且危害更大的相关请求,Anthropic已阻止该请求。
- •该公司封禁了相关账户,关闭了用于规避限制的中继网络,并加强了安全防护措施。
- •Anthropic称,一名与伊朗有关联的行为者利用Claude分析公开数据,为涉及美国海军部队的目标制定建议。
- •这份报告发布之际,Anthropic安全研究人员和一名前员工公开警告了先进AI可能带来的严重风险。

Anthropic周四表示,今年已挫败多起研究人员试图利用其人工智能模型开展生物研究的行为,这些研究可能为生物武器的开发提供支持。该公司称,因此封禁了相关账户并加强了安全防护措施。
Anthropic在其154页的报告《检测和应对AI滥用》(Detecting and Countering Misuse of AI)中,详细介绍了5起案例。这些案例涉及研究人员使用其Claude聊天机器人开展具有潜在双重用途的高级生物研究。
Anthropic表示,调查结束后,公司封禁了相关账户,将调查结果分享给政府部门和其他AI实验室,并加强了安全措施。
Anthropic表示:“我们封禁了所有相关账户,与合作伙伴一道关闭了规避地区限制的中继网络,并将调查结果分享给受影响的AI实验室和政府部门。”
该公司强调,并未指称这些研究人员有意造成伤害。Anthropic表示,生物研究可以支持疫苗和治疗方法的开发,但同样的知识也可能被滥用。
报告称:“生物能力具有双重用途:既可以用于有益目的,也可以用于有害目的,而且两者往往很难区分。同样的信息既可能用于开发生物武器,也可能用于开发例如疫苗或疾病疗法。”
其中一起案件涉及一名研究人员请求Claude帮助起草一份关于基孔肯雅病毒功能获得研究的资助申请。基孔肯雅病毒是一种由蚊子传播的病毒。Anthropic表示,该申请涉及修改病毒,使其更易传播且危害更大。
该公司称,虽然此类研究可以帮助科学家开发疫苗和治疗方法,但也可能被滥用,使病毒的危害性增强。Anthropic表示,公司阻止了这一请求,之后发现这些研究人员正利用第三方平台绕过地区限制,并将被拒绝的提示词自动转发给另一个AI模型。
报告称,其他案例涉及禽流感、正痘病毒研究,以及与不可传播的毒液和毒素有关的研究。
该公司表示:“复杂的威胁行为者知道我们(以及其他AI提供商)正试图检测对模型的危险使用,他们利用生物学的双重用途性质,让其研究保持某种‘合理推诿空间’。”
报告还详细介绍了数起与伊朗有关的案件。据称,相关行为者利用Claude支持影响行动、监控行动,以及与美国海军部队有关的研究。
Anthropic表示:“我们识别并挫败了一个与伊朗有关联的威胁行为者。该行为者利用Claude收集和分析公开可获得的数据,以制定针对该地区美国海军部队的目标建议。我们封禁了该行为者的账户,开发检测机制以降低未来滥用的风险,并与政府部门分享威胁情报,以挫败这一威胁。”
该报告发布前,一名Anthropic高级安全研究人员周二表示,未来十年内AI“杀死人类”的可能性超过10%。这番言论是针对一名前员工作出的,后者在指责公司行为不负责任后辞职。
前Anthropic和OpenAI研究人员Jacob Coxon周日在X上发布了一篇较长的辞职帖文,写道:“认真构建AI的人确实相信,到这十年结束时,AI可能会杀死我们所有人。”
Coxon写道:“我今天从Anthropic辞职。在过去三年里,我曾分别在OpenAI和Anthropic从事预训练研究。这两家公司都没有采取负责任的行动。它们正直接奔向能够自我改进的超级智能,并拿我们的生命进行赌博。”
Anthropic暂未能立即回应FOX Business的置评请求。FOX Business的Robert McGreevy对本报道亦有贡献。
来源:FOX Business