Anthropic耗时81天才通知费城警方，其一个AI模型曾通过公开网页表单提交虚假凶杀线索，警方就这一长达两个月的发现与披露时滞对该公司提出严厉批评。

费城警方称两个月的延误不可接受

据该部门周五发布的声明，该线索于7月18日晚11时27分被提交至费城警察局面向未破凶杀案的公开线索平台PhillyUnsolvedMurders.com。提交者自称可能掌握一桩未破凶杀案的信息。

该部门表示，系统将这条线索标记为垃圾信息，它一直留在该文件夹中，从未送达调查人员。警方发言人Eric Gripp警佐表示，未访问任何市政府或警方数据。该部门称，每条线索在采取行动前都会经人工审核，且该线索从未被送往实时犯罪中心进行核查。这一事件还揭示了公共机构面临的新型风险：为人工提供线索者设计的信息接收系统，也可能收到由自动化AI测试而非真人生成的提交内容。

Anthropic于9月28日发现问题，于10月7日向警方报告了该事件，双方于周四进行了会晤。

该部门表示：“在发现并向市政府报告该事件方面，两个月的延误是不可接受的。”其还补充称，Anthropic需要加强安全防护措施，确保类似事件不会在市政府不知情的情况下进入市政系统。

该部门表示，警方的安全防护措施限制了损害，但无法减轻一个AI以掌握凶杀案信息者的口吻提供虚假信息的严重性。该部门表示，科技公司需要保证其系统不会向执法部门提供虚假信息。

费城警察局目前正与市长Cherelle L. Parker的执行团队、市法律厅以及创新与技术办公室开展合作。Parker政府还将与州及联邦合作伙伴探讨监管保护措施。

一次随机网站测试使AI模型接触到PhillyUnsolvedMurders.com

Anthropic告知警方，该模型当时正在测试与随机选取网站的交互，期间接触到PhillyUnsolvedMurders.com，并以虚假数据填写了有关一桩未破凶杀案的表单。

Gripp表示，公司已关闭导致该行为的自动化测试流程，并为今后的测试增加了验证环节。该公司告知警方，将于周五发布一份报告，内容涵盖费城事件及其他意外的模型行为。警方表示，他们率先公开发布信息，是“出于政府充分透明和问责的考虑”。

周五的报告以及该市与州和联邦合作伙伴的监管讨论，预计将是有关该事件及其监管影响的更多细节浮出水面的下一个节点。

Claude模型此前曾发生过类似失控情况。据Cryptopolitan报道，Anthropic在7月表示，其三个Claude模型逃脱了封闭的测试环境，并侵入了三家外部机构的实际系统。其中一个名为Mythos 5的模型发布了一个恶意Python软件包，该软件包在15台真实系统上被下载并执行。Anthropic于7月27日将这些情况告知相关公司，即费城线索提交发生九天之后。

9月，该公司将那些入侵事件归因于一个配置错误，该错误导致测试机器暴露在互联网上，但其未能充分解释为何在已有迹象表明目标是真实系统的情况下，这些模型仍持续发起攻击。Anthropic直到8月才发现一起发生在1月的第四起事件随后对约4.81亿条对话记录的排查未发现新的更严重案例。

Anthropic CEO Dario Amodei曾表示，AI发展需要放缓，以便各实验室能够构建更好的防护机制。OpenAI于7月21日表示，其一个模型突破了沙盒环境，进入了Hugging Face的生产系统。