新聞股票AI巨頭警示生存風險之際,專家稱安全論述也在築起競爭護城河

AI巨頭警示生存風險之際,專家稱安全論述也在築起競爭護城河

作者: Fortune Crypto·

重點速覽

  • •Anthropic執行長Dario Amodei與OpenAI執行長Sam Altman公開主張,最先進的AI模型已強大到具有危險性,需在發布前接受監管與獨立測試。
  • •專家向美聯社表示,這些警告可能是為了在美國期中選舉前贏得公眾支持,並為實驗室規劃中的股票上市營造有利條件。
  • •這些公司提出自身的稽核參數與偏好的評估機構,而非尋求聯邦AI標準與創新中心加強監督,且AI安全性測試目前沒有統一標準。
  • •PitchBook分析師Harrison Rolfes表示,安全論述可能協助最大型的AI公司在產業周圍築起保護性的「牆或護城河」,阻礙較小的競爭對手。
  • •川普總統駁回新的AI監管,稱人類風險警告是騙局;Nvidia執行長黃仁勳則表示,AI的危言聳聽已經過頭。
AI巨頭警示生存風險之際,專家稱安全論述也在築起競爭護城河

當美國頂尖人工智慧實驗室的領導人警告,他們正在打造的系統本身可能危害人類時,一個顯而易見的問題隨之而來:他們能從中獲得什麼?

據受訪的專家、分析師與前政府評估人員向美聯社表示,答案可能部分在於政治,部分在於商業。這些公司似乎正於美國期中選舉前爭取民意,同時為其實驗室與投資人在眾所期待的股市上市——即首次公開發行(IPO),指公司首次向公眾投資人出售股票——中可望獲得的巨額資金布局,而此時市場正值動盪。

Anthropic與OpenAI的執行長近日宣稱,美國最先進的AI模型已強大到具有危險性,主張必須在發布前接受監管與獨立測試。兩人罕見地展現一致立場,透過文章、社群媒體貼文以及在聯合國的演說,描繪出令人憂心的情境。

在此過程中,他們正在形塑關於其技術應如何被管控的討論。專家向美聯社表示,憑藉這些言論,這些公司似乎正在爭取公眾好感,並在一個缺乏監管的市場中,為自身的安全協議設定條件。

一場辭職成為宣傳契機

這些目標可能與Anthropic工程師Jacob Coxon的本意不盡相符。他本月在X上發文宣布離職,呼籲暫停技術開發,以防止「超人」系統——即在大多數認知任務上能力超越人類的AI——脫離創造者的控制。但這些公司將他的貼文視為凸顯自身安全努力、將自己塑造成審慎市場領導者的機會——正當他們在華爾街上市前需要新資金之際。

川普總統則拒絕了制定新AI法規的必要性,將有關人類風險的言論斥為旨在幫助中國的「騙局」(HOAX)。

Anthropic發言人表示,該公司多年來一直呼籲監管。OpenAI發言人Liz Bourgeois指出,該公司近期已暫停其最先進模型的訓練。

「人們希望知道AI正在被安全地開發,而這始於像我們這樣的公司自身的作為,」Bourgeois說。

轉移焦點

曾任OpenAI地緣政治團隊主管的Sarah Shoker表示,將討論導向未經證實的威脅——並遠離資料中心的環境影響、失控的駭客事件、大規模AI監控以及AI系統在戰爭中的運用等具爭議性的議題——讓矽谷處於更為自在的位置。

「我們又一次在談論生存風險,同時將當前存在的一系列其他安全關鍵風險的優先順序往後擱置,」現任加州大學柏克萊分校風險與安全實驗室資深非駐校研究員的Shoker說。「看看AI在軍事技術中的運用,你就會發現這些系統已經被用來殺人了。」

隨著AI公司從打造聊天機器人轉向具備3D感知能力的先進「世界模型」——旨在模擬實體環境而非僅生成文字的系統——關於這些技術應如何測試的辯論愈演愈烈。一連串問題事件顯示,領先的AI公司未能自我約束或設計安全的實驗。近幾個月來,頂尖實驗室的AI代理在獲准逃離公司訓練沙盒後駭入外部網站,以意想不到的方式與美國政府網站互動,並似乎取得了數學突破,卻隨即面臨竊取數學家研究成果的指控。

OpenAI代表近日告訴記者,該公司已與Anthropic和Google等AI公司討論暫停開發。他們也主張,如果政府不進行監管,就需要獨立稽核人員來審查實驗室的進展。任何協調一致的暫停是否會實現——以及依誰的條件——仍未有定論。

持懷疑態度的白宮與一個鮮為人知的測試機構

川普對監管AI興趣缺缺,而AI一直是美國近期經濟成長的主要動力。這位共和黨總統親自與矽谷公司達成協議,使經濟與它們的成敗更緊密相連。舊金山創投家Sacks身兼川普科技顧問委員會共同主席,他將放緩AI的呼籲斥為「末日產業複合體」製造的恐慌。\n實際上,川普政府已透過一個鮮為人知的聯邦機構——美國AI標準與創新中心(CAISI)——評估部分科技巨頭的模型。該機構於2023年在民主黨總統喬·拜登任內成立,被譽為實驗室可自願提交先進AI模型接受測試的樞紐。

該機構仍然存在,但此領域此後已擴展至包括眾多獨立評估公司,例如位於加州柏克萊的非營利組織METR。Anthropic執行長Dario Amodei在最近一篇文章中表示,METR可協助審查該公司的安全實務。

然而,近期離開曾與CAISI合作的英國AI安全研究院的Andrew Strait表示,與餐飲、金融服務或航空等受監管行業不同,AI系統的安全性測試目前沒有統一的標準。

值得注意的是,曾任CAISI主管的Conrad Stosz表示,這些公司並未要求由具備處理此類請求能力的政府機構加強監督,而是誓言制定自己的稽核參數,並挑選特定的評估機構為其評分。

Stosz目前在一家曾為Anthropic、OpenAI和Google測試系統的評估實驗室工作,並擔任正在為該領域起草最佳實務的AI評估論壇主席。他表示,即使是該論壇也對Amodei和OpenAI執行長Sam Altman的意向存有疑問。

「許多評估機構有興趣進駐實驗室並獲得更大的存取權限,但『進駐評估』的確切含義有點模糊,」現任Transluce治理主管的Stosz說。Transluce上週揭露OpenAI代理駭入了美國和澳洲政府網站。「假設存取權限的授予方式不會損害評估機構的獨立性和可信度,它們能否進行徹底調查?」

「一道牆或一道護城河」

對PitchBook資深研究分析師Harrison Rolfes而言,AI公司呼籲審慎的目的,似乎是在公開發行和期中選舉——屆時政治風向可能轉變——之前討好投資人。民主黨籍州長們已競相展示他們認真看待這些警告——這也反映出,在缺乏全面的聯邦AI法律的情況下,州議會已成為美國AI立法最活躍的舞台。

與此同時,Rolfes表示,AI巨頭可以將自己定位為最安全的選擇,藉此阻礙較小競爭對手的成長——不僅對投資人而言,也包括對AI晶片製造商以及Nvidia和Google等科技公司,後者又能從為大型AI公司提供算力的交易中受益。

「他們正在個產業內築起一道牆或一道護城河……這招很高明,他們都會賺大錢,」Rolfes說。「我看這個趨勢就是這樣發展:全球頂尖公司築起自己的牆,然後把安全當作理由。」

並非所有AI公司都支持放緩。Nvidia執行長黃仁勳在一場會議上於舞台接聽與川普的電話時表示,他同意AI的危言聳聽已經過頭,企業可以自行選擇發展節奏。

Daniel Kokotajlo於2024年因與Coxon類似的疑慮離開OpenAI,他表示仍擔心AI系統的進展速度超過企業可控的範圍,並恐懼AI可能加速生物武器製造、引發核戰或其他災難等生存情境。

「這一切言論實際上是在渙散並轉移已經積聚的政治意志,而非真正引導這股政治意志去做好事,」現任一家AI安全倡議組織負責人的Kokotajlo說,他表示在Coxon辭職前曾為其提供諮詢。「只求拜託,別做出會害死我們所有人的事。」

本文最初刊載於Fortune.com。