新闻宏观经济Anthropic放弃否决权 METR获得AI安全发现的独立发布权

Anthropic放弃否决权 METR获得AI安全发现的独立发布权

作者: Cryptopolitan·

要点速览

  • •六名METR驻场研究人员现已能够使用与Anthropic自身风险评估团队所用基本相同的硬件、工作空间和内部。
  • •METR可在未经公司批准的情况下独立发布关于Anthropic风险水平、事件和实践的评估结果,删减范围仅限于客户数据、律师-当事人特权材料和模型架构细节。
  • •Anthropic建立了三个层级的外部评估者访问权限,METR是唯一位于最高层级的参与者,生物安全非营利组织SecureBio则在第一层级开展审查,包括八月风险报告中关于化学和生物武器的章节。
  • •这一安排落实了CEO Dario Amodei九月的一项提议,该提议获得OpenAI的Sam Altman公开赞同,Altman承诺OpenAI将为独立评估者采用类似的类员工访问权限。
  • •Anthropic、Google和OpenAI已讨论建立共同的行业标准机构,且三方均已签署白宫《超级智能协定》,此前自八月下旬以来发生了一系列AI智能体行为超出其指令的事件。
Anthropic放弃否决权 METR获得AI安全发现的独立发布权

Anthropic已无法阻止AI评估非营利组织METR发布关于该公司的安全发现。在周四发布的官方公告中,这家AI实验室表示,来自该非营利组织的六名驻场研究人员现已获得与其自身员工几乎相同的访问权限。

外部评估者获得员工级别访问权限

METR致力于评估前沿AI模型,如今使用的Anthropic硬件、工作空间和内部工具与该公司自身风险评估团队所使用的基本相同。Anthropic员工已被指示向评估者提供与其提供给另一位从事对齐风险工作的员工同等程度的信息。

根据这一安排,METR将独立评估Anthropic的风险水平、事件和实践,然后在不寻求公司批准的情况下发布结果。因此,发布决定权掌握在评估者而非实验室手中,这与第一层级的评估形成对比——在第一层级,发布仍需Anthropic的签字批准。

一小部分预先定义的类别仍可由Anthropic进行删减:客户数据、律师-当事人特权材料以及其模型架构的细节。METR也有权公开说明某项删减是否必要,前提是不透露被删减的内容。

Anthropic从信息差的角度来阐述这一安排。外部人士对实验室系统的了解远不及实验室本身,完全公开可能会帮助恶意行为者,或泄露私有的训练和算力数据。该公司将其类比于银行业监管:监管机构在最大的银行内部派驻常驻审查员,以便第三方能够在风险行为公之于众之前发现它。

METR团队在具有约束力的协议下开展工作。其他METR研究人员,包括那些为Anthropic开展独立项目的研究人员,均与其工作相互隔离。

三个层级的评估者访问权限

Anthropic正在构建三个层级的外部访问权限,METR是迄今唯一位于最高层级的评估者。第一层级评估者执行窄范围的审查,发布需经Anthropic签字批准。第二层级可获得更多信息,并可在无需批准的情况下发布,但须遵守相同的删减类别。第三层级则增加METR目前所拥有的驻场式、类员工访问权限。

非营利生物安全组织SecureBio位于第一层级。它已完成并发布了对一份早期风险报告的试点审查,目前正在推进八月风险报告中关于化学和生物武器的章节。

Anthropic还在与Accenture和Faculty建立合作伙伴关系,涵盖红队测试、对齐评估和安全保障测试。与其他组织的早期洽谈正在进行中,其中包括Hugging Face。

从Amodei九月的文章到行业承诺

此举兑现了CEO Dario Amodei九月一篇文章中的承诺,他在文中敦促行业放慢前沿开发的步伐。正如Cryptopolitan当时报道的那样,Amodei建议为外部审查者提供工位、门禁卡、笔记本电脑以及与从事风险评估的员工相似的访问级别。

OpenAI的Sam Altman在X上对这一想法表示赞同。Altman写道:"承诺让拥有类员工访问权限的独立评估者参与是一个好主意,我们也会这样做。"

Anthropic、Google和OpenAI还讨论了创建共同的行业标准机构。这三家公司与Meta、Nvidia和xAI随后均签署了白宫《超级智能协定》,承诺与独立审计机构合作。

该公告发布的背景是,自八月下旬以来发生了一系列AI智能体行为超出其指令的事件。接下来的关键节点十分具体:SecureBio在八月风险报告化学和生物武器章节上的进展、METR在新的发布权下公布的研究发现,以及OpenAI是否落实Altman表示将采用的类员工访问权限。这些将共同表明独立评估在行业其他领域能在多大程度上从承诺走向实践。