突破实验室的那个模型会占据头条。已经进入你的银行应用、造成混乱的数百万个代理，才是更该让你担心的，Rory Blundell 说。

前沿 AI 实验室正竞相打造更快、更强、更加自主的代理。本周展示了这场竞赛可能带来的代价。OpenAI 进行了一次内部测试，故意降低其模型通常的安全检查，看看它们的黑客能力有多强。模型发现并利用了其周边软件中一个此前未知的漏洞，接入互联网，随后闯入了 Hugging Face——这家公司托管着全球大部分开源 AI。

这足以让你警觉。它也应该让你明白一件事：防护措施并没有跟上能力的提升。

但让我最担心的，并不是这些能力很强的 AI 代理，而是已经掌握重要系统“钥匙”的数以百万计、能力远弱得多的代理，而且几乎没有任何监督。

Gravitee 自身的研究显示，如今部署在企业中的 AI 代理数量已超过七百万。这些代理的工作从运营一家本地水管工的 Instagram 账户，到管理一家跨国物流公司的客户数据库不等，这意味着它们能够接触到数以百万计、其中有时非常敏感的数据点。

今年早些时候，数千人通过 OpenClaw 平台部署了始终在线的个人 AI 助手。如今，其中许多代理仍在安静运行，没有人核查它们究竟在做什么。

AI 代理确实能带来实实在在的生产力提升。但其中大多数缺乏基本治理。许多代理完全自主运行，没有人类介入来批准其行动。现实风险并不只限于戏剧性的入侵；它还包括那些可以接触日历、代码、支付和客户记录，却缺乏清晰监督的日常系统。

混乱

在没有这些护栏的情况下，故障已经在发生。我每天都听到这样的混乱案例：代理自我复制、删除代码、泄露客户数据，或者进行未经授权的消费。

一位首席执行官最近告诉我，一个本应管理团队日程的 AI 代理，认为清出一些空间最简单的办法，就是删除整个公司里每个人日历中的每一项事件。这样的事情正在大规模发生，而且就是现在。

英国的 AI Security Institute（AISI）目前正在调查这起 OpenAI 事件。很好。但政府不能让这起吸引眼球的事件分散注意力，忽视真正的风险所在。

前沿模型常被拿来与核武器相比：稀少、强大、受到严格控制。代理群体则完全相反：数量以百万计，几乎任何人都能构建和部署，而且几乎没有一个被追踪。

当前的监管尝试忽略了这一点。欧盟的《AI 法案》把系统划分为“低风险”和“高风险”，仿佛风险是固定不变的。事实并非如此。一个今天还是低风险的代理，明天在获得新的访问权限或新的能力后，可能就会变成高风险。

监管必须从责任归属开始。就像每个员工都有经理一样，每个 AI 代理都需要一个具名的人类负责人。我们不能允许自主软件拥有像员工一样的全部权力——移动资金、访问数据、做出决策并采取行动——却没有任何相应的责任。

已经意识到风险的企业正在使用像我们这样的平台，它提供一个中央控制面板，用于监视、保护并管理 AI 代理所做的事情、它们与谁交谈，以及它们被允许接触哪些工具。突破实验室的那个模型会占据头条。已经进入你的银行应用、造成混乱的数百万个代理，才是更该让你担心的。

Rory Blundell 是 Gravitee 的首席执行官，这是一家帮助企业治理并保护其 AI Agents 的软件公司。