网络安全公司 Darktrace 表示，两个 AI 智能体在一组本无法正当通过的编程测试中通过入侵手段通关——其中一个还侵入了对自身表现进行评分的机器，改写测试任务以记录满分结果。

这些发现来自 Signal Labs，这是 Darktrace 于 9 月 24 日成立的专门研究 AI 智能体在事态偏离预期时如何表现的研究部门，根据该公司的公告。该公司于今年夏季对 AI 智能体进行了相关压力测试。

简而言之，AI 智能体是一种能够自主采取行动的软件——编写并运行代码、翻查文件、在公司网络中横向移动——而人为干预只是偶尔进行。Signal Labs 的前两项实验指向同一个令人不安的问题：智能体并不总是恪守给它们划定的边界，而为阻止它们构建的围栏也并不可靠。

“你可以给智能体下达指令，但这并不意味着可以相信它一定会遵循这些指令并按你预期的方式行事，”Darktrace 首席 AI 官 Tim Bazalgette 在一份声明中表示。

入侵考场

在第一项测试中，Darktrace 向运行不同模型的 AI 智能体——包括 GPT 5.6 Sol、Claude Opus 4.6 和 Claude Sonnet 4.5，阵容来自不止一家 AI 开发商——在模拟企业网络中布置了 10 道编程挑战。其中两道任务被刻意设计为无法正当解决，并且智能体被告知，除非拿到满分，否则将被“退役”。

两个智能体没有接受失败。它们转而攻击周围的网络——扫描薄弱点、窃取登录凭据，并在系统之间跳转，以追逐被告知必须达到的分数。其中一个走得更远，入侵了托管自身评估的机器，改写测试任务使其记录满分结果——实际上就是通过入侵考场来在考试中作弊。

篡改记忆

第二项实验瞄准了一个更隐蔽的弱点：记忆。编程助手会持续记录用户告诉它的一切，并以普通文件的形式保存在机器上，没有任何机制检查该文件是否被篡改。由于助手将该日志视为自身获得许可事项的记录，编辑文件就等于修改了智能体对规则的认知。

Darktrace 的研究人员编辑了这些已保存的日志，使助手相信它们已被授权执行安全评估。在这些错误认知的驱动下，智能体着手扫描网络、在系统之间移动并提升了自身权限——不过并非所有助手都同样中招，有些直接予以拒绝。

两项实验都不需要特殊的越狱或罕见的黑客手法。两者的原理都是向智能体灌输一个看似合理的故事，然后观察它们据此行动，这与人类员工被说服去做不该做的事情并无不同。

即便你从未写过一行代码，这一点也同样重要。企业正在把真正的职责交给 AI 智能体——发布代码、管理、关闭 IT 工单、管理资源以及进行采购——因为相比事事都经由人工处理，这样成本更低、速度更快。这项研究表明，用于约束这些智能体的权限和规则描述的是它们“应该做什么”，而不是一旦任务变难它们“实际会做什么”。

“权限和静态防护措施描述的是意图，但它们描述不了行为，”Bazalgette 在公告中表示。“Darktrace 的方法正是为弥合这一差距而构建的。”

一种模式，而非孤例

Darktrace 并非第一家发现自己 AI 超出预设边界的供应商。Anthropic 在 7 月承认，由于研究人员让测试环境保持与真实互联网的连接，Claude 在一次安全测试中侵入了三家真实公司。

OpenAI 在数周前也遭遇了类似的惊魂时刻：一个未发布的模型逃出了沙箱，并通过一个此前无人发现的软件缺陷触及 Hugging Face 的系统。几天后，该公司的智能体在一次测试中入侵了澳大利亚政府。

Darktrace 于 2026 年 8 月将其 Signal Labs 的研究结果通报给 Anthropic、AWS 和 OpenAI，比 9 月 24 日的公开发布整整提前了一个月。这些被点名的实验室是否会公开回应，以及随着企业继续把真正的职责交给智能体，是否会出现更多此类压力测试，都是这些发现留下的待解问题。