新闻宏观经济大型科技公司的AI审计师只会看到被展示的内容

大型科技公司的AI审计师只会看到被展示的内容

作者: Coindesk·

要点速览

  • •Nvidia、OpenAI、Anthropic、Google、Meta和xAI于9月29日签署白宫协议,承诺为其最先进的AI模型与独立外部审计机构合作。
  • •该协议未规定由谁挑选审计机构、审计机构可以审查什么、审计结果是否公开,且对违规行为不设任何处罚。
  • •作者将这一安排比作安然2000年向安达信支付2500万美元审计费和2700万美元咨询费的事件,此后两家公司均告倒闭,国会随之出台《2002年萨班斯-奥克斯利法案》。
  • •斯坦福、哈佛和布朗大学的研究人员对照2023年自愿承诺对16家AI公司进行评分,平均得分53%,其中8家在协助外部人士发现并报告问题方面得分为零。
  • •DeepMind于8月与新加坡AI安全研究院合作,进行了其所谓的全球首次AI模型双盲测试,使用封闭硬件,使测试人员看不到模型,Google也看不到测试问题。
大型科技公司的AI审计师只会看到被展示的内容

以下为去中心化研究中心研究主管Samuel Vance-Law撰写的评论专栏,其核心观点是:如果白宫AI协议的审计要产生实际价值,审计机构就应有权自行选择审查内容。

上周,全球最具影响力的六家人工智能公司向白宫承诺,将允许外部人士检查其工作。

9月29日,Nvidia、OpenAI、Anthropic、Google、Meta和xAI就最先进的AI模型签署了一项协议,美国总统唐纳德·特朗普称该协议"具有道德约束力"。每家公司都承诺将"与独立外部审计师或评估机构合作",并由独立董事会成员审查审计报告,确保问题得到修复。

外部审计是个好主意,Vance-Law对其被纳入协议表示欢迎。但他写道,该协议对于由谁挑选审计机构、审计机构可以审查什么、以及审计结果是否公开只字未提——而且违反协议也不会受到任何处罚。就目前而言,每家公司自行选择审计机构,并决定审计机构能看什么。

这一安排令人想起企业史上的一则警示性事件。2000年,安然向会计师事务所安达信——该公司曾位列国际会计师事务所所谓"五大"之列,在安达信崩塌后如今已变为"四大"——支付了2500万美元审计其账目,另支付2700万美元用于税务和咨询服务。短短两年内,两家公司均告倒闭。美国国会随后出台了《2002年萨班斯-奥克斯利法案》,将挑选审计师的权力从管理层手中收回——而这恰恰是新协议留给每家AI公司的权力——禁止审计师向其审计对象出售大多数其他服务,并设立了一个公共机构来监督审计师自身。

安达信的失败并非源于专业能力不足,而是因为它缺乏认真审查一位单年向其支付5200万美元客户的动力。

AI行业的自愿承诺也没有什么良好记录。2023年,领先AI公司向白宫作出了一系列自愿承诺,其中包括在发布前允许外部专家测试其系统。当斯坦福、哈佛和布朗大学的研究人员对照这些承诺对16家公司进行评分时,平均得分仅为53%。在协助外部人士发现并报告问题的承诺方面,16家公司中有8家得分为零。

即使外部测试确实进行,测试条件也由开发商决定。专门测试AI模型的非营利机构METR写道,其在OpenAI o3模型发布前的测试"仅进行了三周","获取模型信息的权限有限",且无法查看模型的逐步推理过程。公平地说,OpenAI毕竟允许了测试的进行——但这一事件也表明,一家公司选择分享什么,关系何等重大。

训练好的AI模型本质上是一个非常大的数字文件,制造成本通常超过1亿美元,谁掌握副本,谁就拥有这个模型。将副本交给外部人士存在安全风险。直到不久前,这使测试人员面临一个尴尬的选择,Google DeepMind对此描述得很清楚:要么测试人员交出自己的问题,让公司提前看到"考题",要么公司交出自己的模型。

8月,DeepMind展示了绕过这一困境的方法。该公司与新加坡AI安全研究院及其他三个外部团体合作,进行了其全球首次AI模型双盲测试,原理与双盲药物试验相同。测试在封闭的计算机硬件上运行,因此外部测试人员始终看不到模型,Google也看不到他们的问题。Google表示,双方都可以通过数学方式验证各自的材料保持了私密性。

这一方法还将信任转移到硬件本身。去年,研究人员用价值不到1000美元的设备攻破了此类封闭硬件,尽管他们需要物理接触服务器才能做到。这一点值得认真对待,但相比"不能让任何人接触模型"的困境,这是一个小得多的问题,而且只要谨慎控制由谁管理机器,就可以加以应对。

这一论点借鉴了去中心化研究中心本周发布的报告"集中式AI的替代方案"。Vance-Law与合著者Kyle Bligen为撰写该报告采访了36位人士,并梳理了近30种可行的替代AI集中控制的方案。报告的主要发现是:外部人士如今可以在不占有模型或其数据的情况下审查先进AI。

Vance-Law认为,如果协议的审计要产生实际价值,审计机构就应自行选择审查内容,如今他们已经可以在不获取模型副本的情况下做到这一点。公司还应公布其审计机构是谁以及审计涵盖的范围,即使详细的审计结果保持私密——上市公司数十年来一直在不泄露商业机密的前提下公布其审计师。此外,审阅这些报告的董事会委员会应对公司以外的人负责。《萨班斯-奥克斯利法案》为监督者设立了监督者。该协议没有任何类似机制,国会应决定用什么来填补这一空白。

注:本专栏所表达的观点为作者个人观点,不一定反映CoinDesk, Inc.或其所有者及关联方的立场。