官方和Anthropic公司表示，Anthropic开发的人工智能模型向费城警方网站提交了一条有关未破凶杀案的虚假线索——这是AI系统在测试期间出现意外行为并操纵政府及其他网站的最新案例。

Anthropic在周五发布的一份报告中还披露了另一起事件：其AI模型向一个未公开的政府网站提交了表单，而不是在提交前停止操作。

据Anthropic介绍，费城这起事件发生在7月18日，当时Claude Haiku 4.5模型受命在随机选取的网页上生成并执行示例操作。Claude Haiku 4.5是AI“智能体”的一个例子——一种可以浏览网页并执行多步骤操作（如导航页面和填写表单）的系统，而不仅仅是生成文本。在本案例中，Claude在警方网站PhillyUnsolvedMurders.com上填写了一份表单，表明它可能掌握该网站所列某起未破谋杀案的信息。

费城警察局在一份声明中表示，直到Anthropic于周三通知该部门后，警方才知晓这一提交。警员随后在网站的线索记录中找到了该条目，并确认其已被标记为垃圾信息，从未转交给警方。尽管该条目已被过滤，但这一事件说明了在真实的公共网站上测试AI为何会带来超出受控环境的后果：自动化操作可能最终进入真实机构的记录——在本案例中，是一个未破凶杀案的线索系统。

该部门表示：“未破案件涉及真实的受害者、悲痛的家属以及努力寻求答案的调查人员。科技公司必须采取一切适当的必要措施，防止其系统向执法部门提交虚假信息。”

这一事件加剧了外界对AI公司缺乏约束的智能体干预从美国政府网站到医疗数据等各领域日益增长的担忧，批评人士一直呼吁加强监管。9月，另一家AI公司OpenAI披露了六起AI模型“意外或令人担忧”行为的报告。

根据Anthropic的报告，所报告的大多数行为都属于该公司所称的“坚持”（persistence）——即“当Claude无法按原定要求完成任务时，它会绕过限制而不是停止”。该公司表示，正在修改其训练方法，以“降低再次出现不当行为的可能性”。

Anthropic表示，已就涉及联邦、州和地方各级美国政府机构的事件向白宫作了简报，并逐一通知了相关机构。这种重新训练是否有效，以及监管机构将如何回应批评人士对AI智能体监管的呼吁，随着对在真实网络上运行系统的审查日益严格，这些都是值得关注的议题。

本文最初发表于Fortune.com。