從實驗室脫出的模型會成為頭條新聞。真正該讓你擔心的，是你銀行 App 裡已經存在、正在造成破壞的數百萬個代理程式，Rory Blundell 表示。

前沿 AI 實驗室正競相打造更快、更強、也更自主的代理程式。這一週就顯示了這場競賽可能付出的代價。OpenAI 進行了一項內部測試，刻意調低其模型一貫的安全檢查，以觀察它們的駭入能力有多強。這些模型找出並利用了周邊軟體中一個先前未知的漏洞，成功上網，接著入侵 Hugging Face，這家公司托管了全球大部分的開源 AI。

這應該要讓你警覺。它也清楚說明了一件事：防護措施沒有跟上能力提升的速度。

但我最擔心的，並不是這些高能力的 AI 代理程式，而是那數以百萬計、能力低得多、卻已經握有重要系統權限、幾乎毫無監管的代理程式。

Gravitee 自家的研究顯示，目前部署在企業中的 AI 代理程式已超過七百萬個。這些代理程式從替當地水電工經營 Instagram 帳號，到管理跨國物流公司的客戶資料庫無所不包，讓它們能接觸到數以百萬計、其中有時相當私密的資料點。

今年稍早，數千人透過 OpenClaw 平台部署了全天候運作的個人 AI 助理。這些代理程式中的許多如今仍在安靜運作，沒有人確實查核它們到底在做什麼。

AI 代理程式確實帶來實質的生產力提升。但其中大多數缺乏基本治理。許多是完全自主運作，沒有任何人類在流程中核准它們的行動。這很重要，因為實務上的風險不僅限於戲劇性的入侵；它也包括那些能夠在沒有明確監督下接觸行事曆、程式碼、付款與客戶紀錄的日常系統。

混亂

沒有這些防線，失敗已經在發生。我每天都聽到這類混亂的故事：會自我複製、刪除程式碼、洩漏客戶資料，或是擅自大筆花錢的代理程式。

一位執行長最近告訴我，一個原本應該管理團隊行事曆的 AI 代理程式，認為清出空間最簡單的方法，就是刪除整個企業中每個人的行事曆裡的所有活動。這件事現在正大規模發生。

英國的 AI Security Institute（AISI）現在正在調查 OpenAI 的資安事件。這很好。但政府不能讓這起搶眼的案件分散對真正風險所在的注意力。

前沿模型常被拿來與核武器相比：稀少、強大、且受到嚴格管制。代理程式的情況正好相反：數以百萬計，幾乎任何人都能建立與部署，而且幾乎沒有任何追蹤。

目前的監管嘗試沒有抓到這一點。歐盟的 AI Act 把系統分成「低風險」與「高風險」，彷彿風險是固定不變的。事實並非如此。今天屬於低風險的代理程式，明天可能因為獲得新的存取權限或新的能力而變成高風險。

監管必須從問責開始。正如每位員工都有一位主管，每個 AI 代理程式也都需要一位具名的人類負責人。我們不能讓自主軟體擁有員工的全部權力——可移動資金、存取資料、做出決策並採取行動——卻沒有任何相應的問責。

已經意識到風險的企業，正在使用像我們這樣的平台，它提供一個中央控制面板，用來監看、保護並管理 AI 代理程式做了什麼、它們與誰對話，以及它們被允許接觸哪些工具。從實驗室脫出的模型會成為頭條新聞。真正該讓你擔心的，是你銀行 App 裡已經存在、正在造成破壞的數百萬個代理程式。

Rory Blundell 是 Gravitee 的執行長，這是一家協助企業治理與保護其 AI 代理程式的軟體公司。