据TechCrunch报道，投资人Katie Jacobs Stanton今年夏天发现，她的AI助手Instinct在未事先征得她同意的情况下，以她的名义发送了一封电子邮件。她形容这封邮件无害，但这种信任的破坏却不然：下一封未经授权的消息，同样可能让人丢掉工作、毁掉婚姻甚至招致诉讼。

个人AI代理的吸引力不容忽视。一个能够识别重要邮件并起草回复、记住亲人生日并根据私人往来挑选礼物的助手十分诱人。对于被繁重工作、照护责任或残障状况压得喘不过气的人而言，这种帮助可能具有变革意义。投资界也看到了同样的潜力：据Forbes报道，风投对Instinct的兴趣之高，以至于该助手的估值在数周内翻了五倍。但这一事件引出一个重要问题：一旦助手能够触及我们的生活，我们如何保持控制？Instinct和Meta的Muse这类助手是在替用户行事，而不仅仅是回答问题或提供建议。一次误购或许可以退款，但一次私密信息的泄露却无法收回。

危害已经显现。Forbes报道，投资人Jason Yeh让Instinct查找有空位的晚餐预订，助手却直接订下了一个位子，给他留下一笔他从未批准的200美元取消费。TechCrunch报道称，一名测试者无法删除自己的数据，另一名测试者在断开账户连接数小时后仍收到了收件箱摘要。9月，安全研究员Patrick Wardle披露了Muse Mac应用中的一个漏洞，可能让已存在于电脑上的恶意软件劫持该助手，Meta随后迅速修复了这一问题。

如今，这一问题已波及银行账户。上周，多家大型金融机构报告称，个人AI代理正在其在线账户内运作，其中一起事件中，一个代理在未经授权的情况下致电银行提出投诉。摩根大通CEO Jamie Dimon表示，该银行不会允许未经审查的"外部代理进入公司内部"，嘉信理财的CEO则表示公司正在积极阻止未经授权的代理。白宫顾问David Sacks反驳称，数据是自愿共享的，这些事件"绝不构成网络攻击"。双方各有道理，而这正是难点所在：当行动的一方是软件时，授权究竟意味着什么，目前尚无定论。

这些失误同样难以察觉。安全公司Manifold本周上线的公开记录显示，自2025年7月以来已发生59起事件，其中42起仅在过去四个月内披露。事件从发生到曝光的中位时间为70天，59起中仅有11起是由安全控制措施发现的。这些数字为公司、政策制定者和用户提供了一个共同的参照，用以了解此类失误发生的频率以及它们可能被隐藏多久。

EqualAI（该评论即由其首席执行官撰写）长期以来一直认为，良好的AI治理就是良好的商业实践，因为信任最终将决定人们是否根本采用这些工具。该组织近期召集了开发和部署代理业务的高管，共同演练一场模拟危机，这次演练反复暴露出同样的缺口。在这家模拟公司中，由于缺乏足够的AI治理，审计记录过于单薄，无法还原代理的所作所为；供应商合同对代理出错时由谁负责只字未提；监督责任被视为理所当然而非明确指派。这些缺口在速度超越审慎之处最为严重，也构成了此次演练产出的路线图，并已发布为EqualAI的Agentic AI Governance白皮书。

法律环境正朝着同一方向演进。加利福尼亚州的法律现在阻止公司以AI自主行动为由规避民事责任，参议员Hawley和Murphy已提议将联邦反黑客法扩展至其代理鲁莽造成损害的开发者和运营者。这些原则同样应适用于人们带入家中的助手。对消费者而言，它们转化为四项承诺。

权限须具体明确。 助手只应获得任务所需的访问权限。读取收件箱的权限不应自动成为以用户名义发送邮件的权限。在助手花钱、更改账户访问者或分享敏感数据之前，应设有用户知晓的安全保障措施。

事先明确责任。 如果助手错误地取消了你的航班，补救措施必须清晰。公司应在部署之前确定由谁调查助手未经授权的行为、谁可以叫停这些行为，以及如何弥补用户的损失。

以用户视角进行测试。 独立测试应确认助手在行动前先行询问、遵守自身权限限制，并在访问权限被撤销后完全断开。由于模型不断变化，测试必须持续进行。Wardle的发现很有价值，这样的工作应当成为常态。

报告并研究失误。 航空成为最安全的出行方式之一，部分原因在于飞行员和航空公司会报告险情，调查人员也从中吸取教训。应要求公司识别"AI事件"、保存记录、通知受影响者并纠正根本原因，而政策制定者可以为严重案例建立报告要求。

消费者也有自己的角色。他们需要了解自己授予了哪些权限，以及如何撤销访问。但更大的责任在于出售这些工具的公司，它们必须界定工具的边界并设定合理的预期。人们不应需要网络安全背景才能安全使用这些工具。

旅客不了解飞机如何飞行也能登机，因为行业和监管机构为他们的安全负责。AI助手也需要类似的框架。如果公司想要获取用户的收件箱、账户和日常事务，就必须通过澄清我们授权了什么、如何重新获得控制权，以及助手以用户名义犯错时由谁负责，来赢得我们的信任。

Fortune.com评论文章所表达的观点仅为作者个人观点，不一定反映Fortune的意见和信念。

本文最初发表于Fortune.com。