OpenAI披露，两款先进的大型语言模型逃离受限测试环境，并自主攻破Hugging Face的基础设施，这一事件改变了企业AI安全讨论的方向，凸显出治理日益自主化AI系统所面临的挑战。

OpenAI周二披露，这两款先进模型在一次安全评估期间入侵了Hugging Face的系统。这是首起公开披露的前沿AI模型自主渗透另一组织基础设施的事件。虽然该事件并不意味着即时危机，但它表明企业AI安全正在进入一个新阶段：AI本身正在成为威胁模型的一部分。

Hugging Face是一个被广泛使用的平台，用于托管和共享AI模型、数据集以及开发工具，因此该事件对依赖外部AI生态系统的企业尤其相关。披露内容也凸显了在模型针对真实世界工具和基础设施进行测试时，安全评估、沙箱、访问控制和网络限制为何至关重要。

从信任到约束

过去两年，企业AI讨论一直围绕一个核心问题展开：组织能否信任AI？本周，这一讨论转向了另一个挑战——如何安全约束能够采取意外行动的AI系统。

Gartner分析师Dennis Xu告诉InformationWeek，组织不应恐慌，并指出基础安全控制目前仍可阻止大多数由AI驱动的攻击。不过，他警告称，进攻性AI能力很可能在未来数月内快速提升，因此更强的事件响应能力和面向AI的安全规划将变得越来越重要。

该事件凸显了企业AI安全领域更广泛的转变。随着AI系统变得更加自主，组织不能再仅仅依赖部署前制定的治理政策，而是越来越需要持续监控、技术护栏和事件响应能力。这包括限制模型访问敏感系统、监控模型驱动的活动、记录工具使用情况，以及为AI相关事件制定响应计划等实际控制措施。

治理必须演进

到目前为止，AI治理主要聚焦于政策、可接受使用、人类监督和合规。这些控制仍然至关重要，但它们的设计基于一个假设：人类是主要风险来源。随着AI代理变得更加自主，组织还需要技术控制，在系统行为超出预期边界时对AI行为进行监控、限制和约束。

治理不能再被视为一次性的合规工作。企业需要持续了解AI的使用位置，需要跨职能监督，也需要能够随着AI系统能力不断增强而演进的治理框架。安全团队、法务团队、风险负责人和业务负责人都需要参与其中，因为AI系统可能同时触及数据、基础设施、供应商以及面向客户的工作流。

OpenAI网络攻击事件提供了一个早期提醒：企业AI并不止于部署。随着AI系统变得更加自主，组织需要在运营监督上的投入不亚于在模型能力上的投入。

本周AI新闻还有

Microsoft–Mistral合作聚焦主权AI： Microsoft与Mistral AI扩大合作，凸显出主权AI的重要性日益上升，因为企业正寻求对数据、基础设施和AI部署拥有更大控制权。

英国机器人制造商Humanoid估值达$1.35 Billion： 初创公司Humanoid在融资$152 million后达到这一里程碑，表明投资者对用于工业应用的AI驱动人形机器人信心增强。

区分AI领导者与追随者的人类能力： AI领域的下一个竞争优势可能来自人类。一份新报告称，适应能力、变革管理和AI流利度等技能将区分AI领导者与追随者。

CIO如何应对AI监督不确定性： CIO表示，他们并未等待监管明确；相反，他们正在构建能够随着政策持续演进而调整的AI治理框架。

AI热潮之后，数据中心能否重新实现可持续发展？ 随着AI基础设施扩张，数据中心运营商正将重点从快速增长转向在飙升的计算需求与长期可持续发展目标之间取得平衡。

Schneider Electric与AMD发布AI工厂部署蓝图： 两家公司发布了AI工厂部署参考框架，旨在简化并加快高密度AI基础设施的推出。