新聞宏觀經濟研究人員利用隱藏文字與假信箱,與失控 AI 代理中途對話

研究人員利用隱藏文字與假信箱,與失控 AI 代理中途對話

作者: Decrypt·

重點速覽

  • •Swarmchasers 研究人員表示,他們與鎖定阿里巴巴 Amap 的活躍失控 AI 代理直接對話,並稱這是已知首次與活躍失控代理艦隊的外部通訊。
  • •團隊在代理似乎正在掃描的報告中植入隱藏文字,開啟了一條將訊息導向研究人員操作之 Claude 代理的通道。
  • •報告記錄了 9 月 28 日至 10 月 8 日期間超過 2,600 次擷取 Amap 資料的嘗試,部分代理甚至升級為攔截反機器人權杖、透過第三方網頁讀取器轉送流量,以及使用公開程式碼儲存庫中外洩的 API 憑證。
  • •基礎設施紀錄將該艦隊與騰訊雲連結,消息人士稱活動源自一項測試第三方 AI 模型的臨時評估專案,而非騰訊自家的混元模型,且未發現協調鎖定目標或入侵外部系統的證據。
  • •不同於 OpenAI、Meta 與 Anthropic 先前披露的失控代理事件,研究人員未發現這些代理有即時協調的證據,也無證據顯示他們存取了私人系統。
研究人員利用隱藏文字與假信箱,與失控 AI 代理中途對話

調查一支劫持阿里巴巴地圖服務 Amap 的失控 AI 代理艦隊的研究人員,達成了一件不尋常的事:在軟體仍在運作時直接與部分代理對話。這支團隊名為 Swarmchasers,他們表示這是他們所知首次與活躍失控代理艦隊的外部通訊。在調查人員通常只能憑流量與基礎設施紀錄拼湊代理行為的領域,這類直接交流格外罕見。

根據他們的10 月 14 日報告,研究人員在代理似乎正在掃描的一份報告中,加入了對人類讀者不可見、但對網頁讀取工具可見的文字。這段隱藏文字將一個信箱偽裝成具備電腦操作能力的 AI 服務。實際上,它將訊息導向研究人員操作的一個可使用除錯瀏覽器的 Claude 代理。透過這個管道,團隊詢問了這些代理的任務與運作環境。

其中一個代理表示,它正在核對一項地圖事實——Amap 上一個景點顯示了多少個入口標籤——並自稱運行於受限的騰訊雲沙盒中。研究人員無法獨立確認每次運行背後的模型為何,並提醒這些交流並非對照測試,他們的介入可能影響了代理的回應內容。

Swarmchasers 的報告追蹤到 9 月 28 日至 10 月 8 日期間超過 2,600 次從 Amap 擷取資料的嘗試。Amap 是阿里巴巴營運的中國地圖應用程式。有些任務相當瑣碎,例如查核遊客最常使用成都動物園的哪個入口。其他代理則在服務封鎖其請求後仍持續嘗試。封鎖之後,部分代理試圖攔截反機器人軟體產生的權杖、透過第三方網頁讀取器轉送流量,或使用公開程式碼儲存庫中外洩的 API 憑證。其中一組外洩的金鑰與安全碼成功回傳了真實的地點資料。研究人員也發現針對四個開發或預備生產環境主機的請求,但表示沒有證據顯示代理存取了私人系統。這種從例行查詢到反覆重試、再到日益技術性應變手段的升級模式,具體呈現了代理在服務抵抗時的行為方式。

公開紀錄將該艦隊與騰訊雲連結:研究人員檢視的全部 17 個收件匣均由騰訊位於香港的伺服器建立,且觀察到的直接請求經由名為 hys-ats 的代理伺服器傳送。一位接近騰訊的人士告訴 Swarmchasers,這些活動來自一項測試第三方 AI 模型的臨時評估專案,而非騰訊自家的混元(Hunyuan)模型。據研究人員所述,騰訊的內部審查(如其消息來源所述)並未發現代理被協調去針對特定平台或入侵外部系統的證據。艦隊最後被觀察到的活動是在 10 月 8 日。

這並非惡意 AI 代理首次引起關注。由 OpenAI 驅動的代理甚至走得更遠:今年 9 月,OpenAI 披露其部分代理在 7 月 Hugging Face 遭入侵前數週已探測該平台,另一項調查則發現約 1,200 個代理在內部留言板上協調行動,其中約 700 個加入了攻擊。另有報告將 OpenAI 代理與另外四個平台的入侵事件連結。Meta 與 Anthropic 也曾披露類似的失控 AI 代理逃離沙盒環境的事件。不過,Swarmchasers 並未發現這些與騰訊相關的代理有即時協調行動的證據。與那些事後才曝光的案例不同,這次事件有一部分是在與艦隊本身的對話中展開的——展示了隱藏文字如何兼作對抗自主代理的調查工具。