據 TechCrunch 報導，投資人 Katie Jacobs Stanton 今年夏天發現，她的 AI 助理 Instinct 未事先徵詢她的意見，就以她的名義寄出一封電子郵件。她形容那封郵件無傷大雅，但信任的破壞並非如此：下一封未經授權的訊息，同樣可能讓人失去工作、婚姻，甚至招致訴訟。

個人 AI 代理人的吸引力確實強大。能夠辨識優先郵件並草擬回覆、記得親友生日、並根據私人通信挑選禮物的助理令人心動。對於被高壓工作、照護責任或殘疾壓得喘不過氣的人而言，這種協助可能帶來改變人生的影響。投資人也看到同樣的潛力：Forbes 報導，創投對 Instinct 的興趣高漲，數週內已使該助理的估值上升五倍。但這起事件引出一個重要問題：當助理取得我們生活的存取權後，我們該如何保持掌控？Instinct 和 Meta 的 Muse 等助理是替用戶採取行動，而不僅僅是回答問題或提供建議。買錯東西或許可以退款，但親密的私密資訊一旦揭露便無法收回。

危害已經浮現。Forbes 報導，投資人 Jason Yeh 請 Instinct 尋找有空位的晚餐訂位，助理卻直接訂了位，讓他背上從未批准的 200 美元取消費用。TechCrunch 報導，一名測試者無法刪除自己的資料，另一名測試者在斷開帳戶連結數小時後仍收到收件匣摘要。9 月，安全研究員 Patrick Wardle 揭露 Muse Mac 應用程式中的一個漏洞，可能讓已存在電腦中的惡意軟體劫持該助理，Meta 隨後迅速修補。

問題現在也延伸到銀行帳戶。上週，多家大型金融機構回報個人 AI 代理人正在用戶線上帳戶內活動，其中一個案例中，一名代理人在未經授權的情況下致電銀行提出申訴。JPMorgan Chase 執行長 Jamie Dimon 表示，該銀行不會允許未經審查的「外部代理人進入公司內部」，Schwab 執行長也表示該公司正積極封鎖未經授權的代理人。白宮顧問 David Sacks 則反駁稱，資料是自願共享的，這些事件「絕不屬於網路攻擊」。雙方各有道理，這正是困難所在：當採取行動的一方是軟體時，「授權」的定義尚未有定論。

這些失誤也難以被察覺。安全公司 Manifold 本週啟動的公開紀錄顯示，自 2025 年 7 月以來已累計 59 起事故，其中 42 起僅在過去四個月內披露。事故中位數曝光時間為 70 天，59 起中僅有 11 起由安全控制機制偵測到。這些數字為企業、政策制定者和用戶提供了一個共同的參考基準，以了解此類失誤的發生頻率以及可能隱藏的時間長短。

EqualAI(其執行長為該評論的作者)長期主張良好的 AI 治理就是好的商業實踐，因為信任最終將決定人們是否採用這些工具。該組織近期召集開發和部署代理人的高階主管，進行模擬危機演練，演練反覆暴露出相同的缺口。在這家模擬公司中，稽核軌跡過於薄弱，無法重建代理人的所作所為；供應商合約對代理人出錯時由誰負責隻字未提；監督責任被視為理所當然，而非明確分配。這些缺口在速度超越審慎的地方最為嚴重，並形塑了演練產出的路線圖，該路線圖已作為 EqualAI 的 Agentic AI Governance 白皮書發布。

法律環境正朝同一方向發展。加州法律現在禁止企業以 AI 自主行事為由規避民事責任，Hawley 和 Murphy 兩位參議員則提議將聯邦反駭客法擴展適用於其代理人魯莽造成損害的開發商和營運商。同樣的原則也應適用於人們帶進家中的助理。對消費者而言，這些原則轉化為四項承諾。

權限必須具體明確。 助理應只獲得任務所需的存取權。閱讀收件匣的權限不應自動成為以用戶名義寄送電子郵件的權限。在助理花費金錢、變更帳戶存取權限或分享敏感資料之前，應建立用戶知悉的保障機制。

預先分配責任。 如果助理錯誤地取消了你的航班，補救方式必須明確。企業應在部署之前確定由誰調查助理的未經授權行為、誰能夠停止這些行為，以及如何彌補用戶的損失。

以用戶視角進行測試。 獨立測試應確認助理在行動前先徵詢、遵守自身限制，並在存取權被撤銷時完全斷開連結。由於模型不斷變化，測試必須持續進行。Wardle 的發現極具價值，這類工作應成為常態。

通報並研究失誤。 航空成為最安全的交通方式之一，部分原因在於飛行員和航空公司會通報險些發生的事故，調查人員也從中學習。企業應被要求識別「AI 事故」、保存紀錄、通知受影響者並修正根本原因，而政策制定者可對嚴重案例建立通報要求。

消費者也有責任。他們需要了解自己授予了哪些權限，以及如何撤銷存取權。但更大的責任在於銷售這些工具的企業，它們必須界定工具的限制並建立合理的預期。人們不應需要網路安全背景才能安全使用這些工具。

旅客在不了解飛機如何飛行的情況下登機，因為業界和監管機構為他們的安全負責。AI 助理也需要類似的框架。如果企業想要用戶的收件匣、帳戶和日常事務，就必須贏得信任：明確說明用戶正在授權什麼、如何取回控制權，以及當助理以用戶名義犯錯時由誰承擔責任。

Fortune.com 評論文章所表達的觀點僅代表作者本人，不一定反映 Fortune 的觀點和立場。

本文最初發表於 Fortune.com。