新聞宏觀經濟大型科技公司的AI稽核員只會看到對方想讓他們看到的東西

大型科技公司的AI稽核員只會看到對方想讓他們看到的東西

作者: Coindesk·

重點速覽

  • •輝達、OpenAI、Anthropic、Google、Meta和xAI於9月29日簽署白宮協議,承諾為其最先進的AI模型與獨立外部稽核機構合作。
  • •該協議未明定由誰挑選稽核機構、稽核機構可審查什麼、調查結果是否公開,且違反協議不會受罰。
  • •作者將此安排類比為安隆於2000年支付安達信2,500萬美元稽核費與2,700萬美元諮詢費的情況,兩家公司隨後崩塌,國會也因此推出《2002年沙賓法案》。
  • •史丹佛、哈佛和布朗大學的研究人員依2023年自願承諾為16家AI公司評分,平均得分為53%,其中8家在協助外部人士發現並回報問題上得零分。
  • •DeepMind於8月與新加坡AI安全研究院合作,進行了其所稱全球首次AI模型雙盲測試,採用密封硬體,測試者從未看到模型,Google也從未看到他們的問題。
大型科技公司的AI稽核員只會看到對方想讓他們看到的東西

本文為去中心化研究中心研究主管Samuel Vance-Law的意見專欄,主張白宮AI協議的稽核若要具有實質意義,稽核人員應能自行選擇測試項目。

上週,全球最具影響力的六家人工智慧公司向白宮承諾,將讓外部人士檢驗其工作成果。

9月29日,輝達、OpenAI、Anthropic、Google、Meta和xAI簽署了一份涵蓋最先進AI模型的協議,美國總統唐納·川普稱其「具有道德約束力」。每家公司都承諾將「與獨立外部稽核機構或評估機構合作」,並由獨立董事審閱稽核報告,確保問題獲得修正。

外部稽核是個好主意,Vance-Law也樂見其納入協議。但他指出,該協議對於由誰挑選稽核機構、稽核機構能審查什麼、以及調查結果是否公開等問題隻字未提——忽視協議也不會受罰。就現況而言,每家公司自行挑選稽核機構,並決定稽核機構能查看哪些內容。

這樣的安排令人想起企業史上的一段警示性事件。2000年,安隆支付會計師事務所安達信——該事務所曾是所謂國際會計師事務所「五大」之一,在其崩塌後現為「四大」——2,500萬美元的帳務稽核費用,以及另外2,700萬美元的稅務與諮詢費用。兩年內,兩家公司雙雙崩塌。國會隨後推出《2002年沙賓法案》(Sarbanes-Oxley Act),將挑選稽核機構的權力從管理層手中收回——而這正是新協議留給每家AI公司的權力——禁止稽核機構向其受稽核企業銷售大多數其他服務,並設立公開的委員會來審查稽核機構本身。

安達信的失敗並非因為專業能力不足,而是因為缺乏對一名單年支付5,200萬美元的客戶嚴格審查的誘因。

AI產業的自願性承諾紀錄同樣不佳。2023年,領先的AI公司向白宮做出一系列自願承諾,包括在發布前讓外部專家測試其系統。史丹佛、哈佛和布朗大學的研究人員事後依這些承諾為16家公司評分,平均得分為53%。在協助外部人士發現並回報問題的承諾上,16家公司中有8家得零分。

即使外部測試確實進行,條件也是由開發商決定。專門測試AI模型的非營利組織METR撰文指出,其在OpenAI o3模型發布前的測試「僅進行三週」,「對模型資訊的存取權限有限」,且無法查看模型的逐步推理過。平心而論,OpenAI至少允許了測試進行——但此事顯示,企業選擇分享多少資訊影響有多重大。

訓練完成的AI模型本質上是一個非常龐大的數字檔案,製作成本通常超過1億美元,而誰持有副本,誰就擁有模型。將副本交給外部人士是一種安全風險。直到不久之前,測試者都面臨一個兩難選擇,Google DeepMind對此有精闢的描述:要么測試者交出他們的問題,讓公司提前看到考題;要么公司交出其模型。

8月,DeepMind展示了破解這一困境的方法。它與新加坡AI安全研究院及其他三個外部組織合作,進行了其所稱全球首次AI模型雙盲測試,原理與雙盲藥物試驗相同。測試在密封的電腦硬體上進行,外部測試者從未看到模型,Google也從未看到他們的問題。Google表示,雙方都可以透過數學方式驗證自己的資料保持私密。

這種做法也將信任轉移到硬體本身。去年,研究人員以不到1,000美元的設備入侵了這類密封硬體,儘管他們需要實體接觸伺服器才能做到。這一點值得認真看待,但相較於「不能讓任何人接觸模型」,這是一個小得多的問題,且可以透過謹慎掌控機器的管理者來應對。

這一論點取材自去中心化研究中心本週發布的報告《集中式AI的替代方案》。為撰寫該報告,Vance-Law與共同作者Kyle Bligen訪談了36位人士,並梳理了近30種對抗AI集中控制的可行的替代方案。報告的主要發現是:外部人士如今無需持有模型或其資料,也能審查先進的AI。

Vance-Law主張,若要讓協議的稽核具有實質意義,稽核人員應自行選擇測試項目,如今他們已能在不持有模型副本的情況下做到這一點。企業也應公開其稽核機構的身分以及稽核涵蓋的範圍,即使詳細的調查結果保持私密——上市公司數十年來都會公布其稽核機構,而不會洩露商業機密。此外,審閱這些報告的董事會委員會應向公司外部的人問責。《沙賓法案》為審查者設立了審查者。協議中沒有任何類似機制,而國會應決定由什麼來填補這一缺口。

註:本專欄所述觀點為作者個人立場,不一定反映CoinDesk, Inc.及其所有者與關聯企業的立場。