新闻宏观经济AI 奇点之争从机器智能转向治理

AI 奇点之争从机器智能转向治理

作者: TechNext24·

要点速览

  • Anthropic 表示,截至 2026 年 5 月,其合并到生产代码库中的代码有超过 80% 由 Claude 编写。
  • Anthropic 和 Sam Altman 描述了 AI 对开发工作日益增强的参与,同时指出完全自主的递归式自我改进尚未发生。
  • 美国前沿模型框架是自愿性的,不要求许可或事先审批;与此同时,NIST 正在制定有关智能体身份、授权、审计和提示注入防护的控制措施。
  • 金融监管机构强调,董事会和高级管理层必须充分理解前沿 AI 风险,以便制定战略并监督控制措施。
  • 提议的治理方法包括明确的阶段关口、严格的通过门槛、独立于评分的风险接受决策,以及更频繁的审查;对于重大的前沿 AI 项目,还可能包括每周更新。
AI 奇点之争从机器智能转向治理

真正的断点可能并不在机器超越人类之时,而在于 AI 能力的复合增长速度超过机构吸收它的速度之时。

在最近一次风险委员会会议上,一个问题看似直接:组织的 AI 风险披露是否仍然准确?答案却并不明确。自上次审查以来,AI 系统已经发生了实质性变化。它们能够处理更长的任务、使用更多工具、在更少监督下运行,并直接参与软件开发和研究。然而,风险框架并未以同样的速度演进。

未必有什么已经失效。

问题正在于此。董事会被要求批准一套控制环境,而这套环境是为某种能力特征已经超出其底层假设的技术而设计的。

奇点之争应当从这里开始——不是从预测机器何时超越人类开始,而是从一个不那么奇特、却紧迫得多的治理问题开始。这一断点不需要智能爆炸、不需要某个特定日期,也不需要人们就什么是通用人工智能达成一致。它已经是一个控制问题。

三种通常被混为一谈的讨论

公众对 AI 的讨论之所以混乱,很大程度上是因为三个不同的概念经常被当作同一个概念。

能力描述 AI 系统能够做什么。它是经验性的、可测试的,并且正在快速发展。

自主性描述决策与行动闭环中有多大部分可以在没有人类直接干预的情况下运行。这正是当前治理挑战的所在。一个能够生成答案的 AI 系统是一回事;一个能够确定下一步行动、访问工具、执行行动、评估结果并继续运行的系统,则在实质上完全不同。

奇点是一种推测性的断点:AI 驱动的改进变得足够自我强化,以至于传统的人类预测变得不再可靠的时点。

这些概念并不可以互换。董事无需相信技术奇点即将到来,也能认识到不断增强的自主性会带来不同的控制环境。同样,一个人可以相信 AI 能力最终将带来变革,却不必相信智能爆炸不可避免。

这一差别很重要,因为治理不能等到第三个问题得到回答后,才开始针对第二个问题采取行动。

闭环尚未形成,但这并不意味着它无关紧要

支持这一论点的最有力证据,同时也是最不耸人听闻的证据。前沿 AI 实验室正越来越多地将 AI 开发的一部分交给 AI 系统自身。

Anthropic 描述了这一演进过程:从人类编写代码,到编码智能体编写和编辑其中相当一部分代码,再到智能体运行代码并将工作交给其他智能体。Anthropic 报告称,截至 2026 年 5 月,其合并到生产代码库中的代码有超过 80% 由 Claude 编写。

重要的限定在于尚未发生的事情。研究方向仍由人类掌握,闭环也尚未完全自主运行。Anthropic 明确表示,递归式自我改进尚未以完全自主的形式发生,而且它并非不可避免。

Sam Altman 同样将当前状态描述为递归式自我改进的“幼虫”版本,同时承认这与 AI 系统自主重写自身并不是一回事。

这一限定使治理论点更有力,而不是削弱它。关键问题并不是闭环是否已经形成,而是闭环中有多少部分已经从人类执行转向机器执行——以及机构控制是否也在同步转变。

治理运行在另一种时间尺度上

监管说明了同样的节奏问题。美国政府已经围绕某些前沿模型建立了自愿框架,包括在模型发布前让政府获取受覆盖模型,以及通过机密基准测试流程判断模型是否达到前沿门槛。该框架明确不涉及强制许可或事先审批。白宫

与此同时,NIST 正在制定有关智能体身份和授权的实用方法,包括身份识别、授权、审计、不可否认性,以及防范提示注入的控制措施。

这一方向意义重大。治理工具正围绕能够采取行动的系统重新设计,而不再只是围绕生成信息的系统设计。对组织而言,这意味着监督不仅必须跟踪模型能力,还必须跟踪与系统相连的权限、系统、数据和第三方。这些维度决定了行动的后果,也决定了证明行动仍处于控制之下所需的证据。

金融监管机构同样明确了董事会的责任。金融行为监管局、英格兰银行和财政部 表示,企业应确保董事会和高级管理层对前沿 AI 风险有足够理解,从而制定战略方向并监督控制职能。

这并不意味着监管机构正在失职。它反映的是一种结构性现实:技术先发生变化,机构随后才将应对措施正式化。因此,董事会不能把监管确定性作为采取行动的前提。

真正的问题可能是吸收缺口

奇点话题正是在这里转变为企业问题。一个组织可以获得非凡的 AI 能力,却在结构上无法吸收这种能力。

一家金融机构可能部署一个能够开展复杂分析的智能体,但其控制框架仍假定每一项具有重大影响的建议都由人类分析师提出。一家零售商可能将定价、库存和客户互动方面的决策自动化,但问责机制仍围绕人类管理者组织。一家科技公司可能允许 AI 系统以前所未有的速度生成和测试软件,但安全审查、变更管理和事件响应仍按照人类开发周期设计。

能力已经改变。

机构却没有改变。

在审计和风险委员会、金融服务、零售、媒体、奢侈品、体育和科技领域的经验,都印证了同一种模式:能力可以同时出现在各个领域,而吸收速度则会因监管、遗留基础设施、劳动力结构和控制成熟度的不同而产生巨大差异。

这种差异很重要。从风险和保险经纪的角度看,这正是 AI 风险不再只是白皮书上的内容,而开始成为保费的节点。保险公司、投资者、监管机构和董事会最终都会提出类似的问题:组织能否证明,它理解并控制了自己正在创造的风险敞口?

治理是否应与 AI 一样快速?

显而易见的回应是让治理加快速度。但更快的治理并不自动意味着更好的治理。

因此,目标或许不应是让治理达到技术的速度,而应是让治理达到维护控制所需的速度。董事会真正需要提出的问题,可能不是“我们是否批准了这项 AI 能力?”,而是:“自上次批准以来,能力、自主性、访问权限或后果特征发生了什么变化?我们的控制措施是否相应改变?”

这是一个更难的问题,但也更有用。

治理工具

大多数关于 AI 的评论都以警告结尾。董事会需要更实用的东西:一种假定环境会持续变化的机制。

答案不是更准确地预测奇点何时出现,而是建立一个动态治理关口,衡量机构是否仍有能力控制已经部署的系统。

这样的工具应具备五项特征:

  1. 明确的阶段关口。 AI 项目应通过有评分的标准推进,而不是依靠叙述性状态更新。能力、自主性、访问权限、控制覆盖范围、韧性和问责都应得到明确评估。
  2. 部分得分。 组织需要看到自身在哪些方面有所改善,但不能将进展与准备就绪混为一谈。
  3. 严格的通过门槛。 如果关键控制要求未得到满足,乐观态度不应构成豁免。
  4. 与评分分开的决策里程碑。 董事会可以有意识地接受某项风险,这属于正当治理。但判断应以判断的形式保持可见,而不应伪装成一个数字。
  5. 更快的更新频率。 如果能力可能在两次季度董事会会议之间发生重大变化,那么季度报告在结构上就无法提供足够的可见性。一项重大的前沿 AI 项目可能需要每周更新。

这一模式正在一个实际运行的数字银行项目中实施。可迁移的经验很简单:当环境快速变化时,治理必须衡量变化,而不只是记录变化。

因此,董事会应当能够回答以下问题:系统现在能做什么,而在上次审查时还做不到?它可以在没有人类直接干预的情况下作出哪些决策或采取哪些行动?它可以访问哪些系统、数据、凭证和第三方?哪些控制措施在这些行动之前、期间和之后发挥作用?有什么证据可以证明这些控制措施有效?剩余风险发生了什么变化?机构吸收这种能力的能力,是否跟上了能力本身的变化?

如果管理层无法回答这些问题,问题就不再只是 AI 成熟度问题。

而是治理成熟度问题。

董事会应当讨论的问题

奇点最终可能被证明是一种智能断点。但董事会无需解决这一哲学问题。还有一个更直接、值得治理的断点:机器能力可能比机构控制更快地复合增长。

围绕这一问题存在合理的争论。答案或许是更强的治理。或许是设计得更好的治理。在某些情况下,答案或许是在机构能够吸收某项能力之前,不要部署它。

最后一种立场会让一些科技领导者感到不满。它本来就应该如此。治理的目的不是让部署变得舒适。但治理也不应成为机构陷入瘫痪的借口。挑战在于分辨二者的差异。

因此,董事会的问题不是:“机器何时会超越我们?”而是:“在确认机构能够吸收这种自主性之前,我们愿意治理多大程度的自主性?”

这是董事会能够回答的问题。与奇点出现的日期不同,它无法被推迟。

奇点是关于机器的问题。治理缺口则是关于我们自身的问题。

原始来源:TechNext24