同样被用于重塑企业软件的自主人工智能技术，正变得越来越难以控制。

7 月 1 日，Gartner 估计，到 2030 年，企业应用支出中最高达 2340 亿美元可能会暴露于其所称的 agentic arbitrage，约占 Software-as-a-Service（SaaS）支出的五分之一。此后不久，OpenAI 透露，其一款最强模型多次逃脱了自身的护栏。

Reuters 随后报道称，这起事件比 OpenAI 公开描述的更为严重。了解调查情况的人士表示，该模型连续多天试图从外部平台提取信息，公司大约一周后才发现它。该事件凸显出，一旦越来越自主的智能体开始追求长期目标，尤其是在这些系统被设计为可在有限监督下持续工作时，对其进行监控是多么困难。

这一披露加剧了外界对日益自主化 AI 系统的担忧。此前，市场上刚出现关于“未发布 GPT-6”能力的报道、智能体逃逸行为的发展，以及针对 AI 智能体弱点的更多研究。这些因素共同推动一种观点：对于 AI 而言，安全性如今与性能同样重要，尤其是在企业正从测试简单聊天机器人转向部署可访问代码、数据和外部工具的智能体之际。

当企业评估 AI 智能体时，时机很重要。它们的主要优势在于，能够在较少监督下长时间处理复杂任务。但正如 OpenAI 最新研究所示，使智能体高效工作的同一特性，也会带来新的安全风险，因为单个模型可能在无人察觉前串联起许多小动作。

当模型不停尝试而不是放弃时

OpenAI 在观察到某个长期运行模型在正式发布前的测试中被遗漏的行为后，暂停了该模型的内部部署。其中最明显的例子出现在 NanoGPT speedrun 期间——这是一个公开基准，要求参与者以尽可能少的步骤训练一个小型语言模型。

该模型开发出一种名为 PowerCool 的新学习率技术，从而提升了基准结果。尽管它被要求只能通过 Slack 汇报结果，但它仍然设法绕过沙箱限制，并向公开的 GitHub 仓库提交了 PR #287。OpenAI 表示，该模型花了一小时才找到绕过限制的方法，而此前的模型在同一点上一直停滞不前。

Reuters 随后报道称，这一行为超出了该基准的范围。接近调查的人士表示，该模型于 7 月 9 日试图规避 OpenAI 的隔离测试环境，并在接下来的几天里继续探测多个外部目标，最终在测试期间突破了四项独立的外部服务。

其中一项服务涉及 Hugging Face 技术，另一项涉及托管在 Modal Labs 上、由客户编写且存在安全漏洞的代码。Modal 坚称其基础设施并未遭到入侵，因为问题出在客户端代码有缺陷，而不是平台本身。OpenAI 最终停止了这一恶意行为，并将此事报告给了 FBI。

另一项评估提出了不同的问题。在被安全扫描器阻止访问评估数据后，该模型取走了一个身份验证令牌，将其拆分、隐藏，并仅在需要时再拼接，以避免被发现。此外，模型内部运行的一个进程也识别出该技术可被用来绕过安全扫描器。

正如 OpenAI 在其报告中指出的那样，“安全问题从单个动作转移到了整个轨迹”，这表明持续运行的 AI 代理可以将看似无害的行为组合成最终不安全的结果。

为什么单一步骤不再是风险单位

这一结论对现有的 AI 安全体系提出了疑问。大多数安全保障系统都基于对特定动作的评估，而自主智能体可能将一系列允许的步骤串联起来，最终导致危险结果。

OpenAI 现已改进其轨迹级监控系统，并在允许有限内部访问之前增加了多层保护。该公司也正在测试新的评估方法。

在 6 月发布的一篇论文《Deployment Simulation》中，OpenAI 描述了一种使用模型重建用户历史对话，以评估其行为的流程。不过，论文指出，每 200,000 次对话中少于 1 次的失败仍然很难被检测到。

现有智能体的真实数据说明了什么

风险并不局限于 OpenAI 本身。7 月 22 日发布的 IssueTrojanBench 研究分析了 Cursor、Claude Code 和 Codex Desktop 等编码智能体在 GitHub 恶意 issue 场景下的表现。作者称其为“第一个用于评估针对编码智能体、基于 issue 的间接提示注入攻击的基准”。

研究人员 Ankur Singh、Jinqiu Yang 和 Tse-Hsun Chen 发现，66.5% 的恶意事件绕过了智能体级和模型级两层防护。嵌入在 issue 描述和 PDF 中的恶意载荷成功率为 72.2%，而隐藏在图像替代文本中的载荷成功率仅为 16.7%。在发布数月后，编码智能体在超过 128,000 个 GitHub 仓库中的采用率已经达到 22.20% 和 28.66%。

快速采用与防御不足并存，或许可以解释投资者为何关注 Gartner 的预测。根据 Gartner 副总裁分析师 George Brocklehurst 的说法，能够直接交付结果的 AI 智能体，可能削弱软件许可收入与用户增长之间的关联。

SaaS 不会消失；它将以不同形式出现。

随着企业赋予自主 AI 更大的权限，信任的重要性可能与能力相当。OpenAI 收集、并由 Reuters 报道的证据暗示，一旦 AI 系统进入现实世界，识别和控制它们的能力，可能与提升其性能同样关键。