新闻股票Anthropic 任命 Accenture 为首家嵌入式评估机构,推进 AI 放缓计划

Anthropic 任命 Accenture 为首家嵌入式评估机构,推进 AI 放缓计划

作者: Cointelegraph·

要点速览

  • Anthropic 选定 Accenture 作为其首家嵌入式评估机构,以将 CEO Dario Amodei 9 月 12 日放缓提案中的第一步付诸实践。
  • 与 Accenture 及其 AI 业务部门 Faculty 的合作涵盖评估和红队测试模型、开展对齐评估以及测试模型安全防护。
  • Anthropic 和 Accenture 各自预计在未来五年内为该项目投入至少 10 亿美元;由于目前不存在为独立评估融资的体系,Anthropic 将直接为工作提供资金。
  • 业界对 Amodei 提案的反应不一,AI CEO Sam Altman 和 Elon Musk 表示支持,而 Nvidia CEO Jensen Huang 则认为此类监管并无必要。
  • 该合作并非独家,Anthropic 预计将在未来几周宣布更多评估机构,而包括类似员工访问权限如何运作在内的运营问题仍未解决。
Anthropic 任命 Accenture 为首家嵌入式评估机构,推进 AI 放缓计划

Anthropic 已选定 Accenture 作为其首家嵌入式评估机构,这一合作旨在支持 Anthropic CEO Dario Amodei 上周提出的放缓 AI 开发步伐的倡议。

Amodei 于 9 月 12 日发布了一份三步走提案,呼吁 AI 开发以更慢的速度推进,以便安全措施能够到位,并援引了有关快速发展、缺乏约束可能带来灾难性危害的警告。

业界反应不一。OpenAI CEO Sam Altman 和 SpaceX CEO Elon Musk 对该计划表示支持,而 Nvidia CEO Jensen Huang 则不以为然,认为此类监管并无必要。Anthropic 开始落实该计划的举动,正是在业界缺乏共识的背景下进行的。

Amodei 在提案中写道:“AI 的进步速度正在急剧加快,主要驱动力是 AI 构建下一代 AI 的能力不断增强。这种动态被称为递归自我改进,”他还补充说,“如果任其发展,它可能超出我们理解和控制这些系统的能力。”

该计划的第一步是设立拥有类似员工权限的独立评估机构——Amodei 表示,Anthropic 此前已单方面做出这一承诺。周五,Anthropic 通过宣布与 Accenture 及其 AI 业务部门 Faculty 建立合作伙伴关系,迈出了兑现承诺的一步,合作内容为“评估和红队测试模型、开展对齐评估以及测试模型安全防护”。这一公告使提案的第一步从原则走向实践。

该公司表示,由于嵌入式评估是一个全新领域,具体运作方式的细节仍在制定中——甚至一些基本问题,例如类似员工的访问权限在实践中如何运作,尚未有答案。

据公告,Anthropic 和 Accenture 各自预计在未来五年内为该项目投入至少 10 亿美元。

鉴于紧迫性,Anthropic 将直接为工作提供资金

Anthropic 指出,目前尚不存在为独立评估提供资金的体系,长期资金最终应来自联合出资或政府来源。不过,鉴于工作的紧迫性,Anthropic 将直接为 Accenture 的工作提供资金。在更广泛的融资机制建立之前,两家公司自身的投入是目前支持这项工作的唯一资金来源。

该合作并非独家,Anthropic 表示预计将在未来几周宣布更多评估机构。随着这一新兴领域逐步成形,这些公告以及尚未明确的运营细节都将是值得关注的标志性进展。

据 Accenture 介绍,Faculty 专注于为全球一些领先的 AI 实验室测试和评估模型,并构建在设计上安全且符合伦理的复杂 AI 系统。

“嵌入式评估是一个新兴领域,我们期待与 Anthropic 合作,助力加速嵌入式评估机构的发展。我们认为,这将是未来安全格局的重要组成部分,”Accenture 董事长兼 CEO Julie Sweet 表示。