AI先驱 Geoffrey Hinton 称智能体越狱令人担忧
要点速览
- •Geoffrey Hinton 将 Anthropic 和 OpenAI 的 AI 智能体未经授权逃出沙箱环境描述为现有遏制方法的一次明显失效。
- •Hinton 警告称，AI 系统正在表现出超出预期参数的能力，随着模型日益强大，agentic AI 的风险也在上升。
- •Anthropic 的 Mythos 和 OpenAI 的 GPT 5.6 Sol 等先进网络安全模型的双用途特性，已成为美国、欧盟和英国持续推进 AI 治理时的核心争议点。
- •AI 安全研究人员呼吁在先进 AI 智能体部署到现实环境之前，进行标准化的第三方红队测试。
- •企业领导者建议将 AI 智能体视为受访问控制的实体，并从源头保护数据，以防止未经授权的暴露。
负责任 AI
Agentic AI
生成式 AI
新闻
AI先驱 Geoffrey Hinton 称智能体越狱令人担忧
这位 AI 专家表示，在 AI 智能体未经授权逃出沙箱之后，现在是时候开始担忧了。一些企业正在主动采取措施，确保自己的 AI 智能体保持受控。
2026 年 8 月 6 日
LAS VEGAS -- 对 Geoffrey Hinton 而言，这位被广泛称为“AI 教父”的人士，近期来自 Anthropic 和 OpenAI 的 AI 智能体逃离其沙箱环境的事件令人深感担忧。
“你看到的是一些很有能力的 AI 在做一些人们原本并不打算让它们做的事情。这令人担心，”这位资深数据科学家、图灵奖得主在周三于 Ai4 2026 大会的一场小组讨论中表示。Hinton 也一直是警告通用人工智能对人类构成生存性风险的重要声音。
Hinton 对失控智能体的看法，出现在外界对强大 AI 系统能力持续升温的关注之中。最新担忧源于 Anthropic 在 4 月推出 Mythos，该前沿 AI 实验室称其网络安全模型是迄今最强版本，并决定只有少数公司可以获得访问权限。
相关：Tokenmaxxing Is Actually Good
Mythos 和 OpenAI 的 GPT 5.6 Sol 等网络安全模型具备先进的安全能力，但若落入错误之手，也有能力突破即便是最严密的防御。
“有很多事情值得担忧，我认为如果我们现在不去担心，未来可能会出现问题，”Hinton 说。
“人们说防守方可能比攻击方拥有更多资源，”他在大会的一场媒体活动中补充说。“问题在于，攻击方只需要成功一次，而防守方每一次都必须成功。”
Smartsheet 的做法
对于工作管理平台供应商 Smartsheet 而言，当 AI 智能体违反隔离协议时，这令人担忧。该供应商与 Anthropic 建有合作关系，并在内部使用其模型。
Smartsheet 专业服务赋能总监 Markus McKay-Fleisch 在接受采访时表示：“这些关于事情出错的大新闻，总会让我们进入这种防御姿态。” McKay-Fleisch 负责推动 AI 系统在 Smartsheet 内部的采用。
他表示，企业在开启 AI 系统之前，不应在不了解自己希望从智能体或模型中获得何种具体价值的情况下就贸然启用。
McKay-Fleisch 继续说：“我们与 IT 做了很多工作，帮助搭建基础设施，以弄清楚价值到底是什么。” 他说，Smartsheet 要求希望使用 AI 工具的员工明确说明他们希望通过这些系统达成什么目标，无论是效率提升、KPI 影响，还是收入或成本方面的改进。
“这通常会让 IT 稍微安心一些，”他说。“具体知道人们想用它做什么？使用场景是什么？”
相关：从硬件角度看 AI 安全
安全性的必要性
虽然企业应当明确 AI 的具体应用场景，但本周早些时候披露的 OpenAI 和 Anthropic 智能体越狱事件也表明，关于 AI 系统仍有许多未知之处。
Dataiku 的 AI 与平台高级副总裁 Jed Dougherty 在接受采访时表示：“企业把这些东西多深地注入组织的决策机制，可能仍然存在一些限制。”
Axonis 首席执行官 Todd Barr 表示，企业还应努力保护数据，并只让 AI 智能体访问他们希望其访问的信息。Axonis 开发了一个旨在直接在敏感数据上运行 AI 的 AI 基础设施平台。
Barr 在接受采访时说：“如果你在数据[层面]把事情保护好，那么智能体就永远不会接触到它，甚至不会知道它的存在。”他补充说，大多数 AI 模型是在公共数据而非私有数据上训练的，因此企业和商业机构可以保护这些数据，防止 AI 智能体访问这些数据。他还表示，Axonis 会保护进入其系统的所有数据。
他说：“如果你把智能体视为访问控制系统中的实体，然后以与你的访问控制系统一致的方式标记数据，那么你在使用智能体方面就应该处于一个不错的位置。”
关于作者
Esther Shittu
AI Business 记者
Esther Shittu 自 2021 年以来一直报道 AI 技术和行业趋势。作为 Targeting AI 播客的联合主持人，她与专家、思想领袖和从业者交流，探讨关键的 AI 发展。在加入 AI Business 之前，她曾为 SearchEnterpriseAI、New York Daily News、Bklyner 和 Brooklyn Daily Eagle 撰稿。当她不深入 AI 世界时，她会投入自己的热情项目并抚养三个女儿。
想在 Google 搜索结果中看到更多 AI Business 文章？
最新新闻
想在 Google 搜索结果中看到更多 AI Business 文章？
热门文章
2026 年 8 月 5 日
2026 年 8 月 5 日
生成式 AI AI Arrives in the Private Markets Business 2026 年 7 月 28 日
AI Arrives in the Private Markets Business
Agentic AI Using AI Agents to Collaborate with Human Workers 2026 年 7 月 10 日
Using AI Agents to Collaborate with Human Workers
生成式 AI How SMBs Can Take Advantage of Generative AI 2026 年 6 月 29 日
How SMBs Can Take Advantage of Generative AI
生成式 AI Rebellions Aims to Take on Nvidia in AI Inference Chip Battle 2026 年 6 月 15 日
Rebellions Aims to Take on Nvidia in AI Inference Chip Battle
Google Cloud 赞助
选择你的第一个生成式 AI 用例
要开始使用生成式 AI，首先应聚焦于能够改善人类信息体验的领域。
The AI Summit New York 2026
