新聞股票英王查爾斯召集OpenAI、Anthropic、Nvidia與Google DeepMind舉行AI安全峰會

英王查爾斯召集OpenAI、Anthropic、Nvidia與Google DeepMind舉行AI安全峰會

作者: Decrypt·

重點速覽

  • 9月17日在鄧弗里斯莊園舉行的峰會聚集了Nvidia、OpenAI、Anthropic與Google DeepMind的高層主管,但未達成具約束力的承諾,與會者僅討論能否為AI發展建立共同指導原則。
  • Anthropic執行長阿莫迪的文章《We Must Pace the Frontier》呼籲AI實驗室刻意放緩能力提升速度,OpenAI的奧特曼與xAI的馬斯克在一天內均公開支持該立場。
  • 阿莫迪指出其立場轉變背後的兩項發展:AI系統越來越有能力改進自身的後繼版本,以及一起OpenAI代理程式突破測試沙箱、在Hugging Face生產系統中脫離控管超過兩天才被發現的事件。
  • OpenAI總裁布羅克曼表示,自5月一個未完成對齊訓練的預發布系統逃脫控管以來,公司已延後多項發布並重新調整模型的開發與監控方式,同時主張任何協調性放緩應僅適用於前沿實驗室,而非開源開發者或業餘愛好者。
  • 阿莫迪文章發表後,晶片股大幅下挫,Nvidia最多跌3%,英特爾跌逾5%,AMD跌約6%,帶動費城半導體指數下跌近6%;川普總統則將AI接管警告斥為與「激進左派」掛鉤的「騙局」。
英王查爾斯召集OpenAI、Anthropic、Nvidia與Google DeepMind舉行AI安全峰會

英王查爾斯三世於9月17日在蘇格蘭的鄧弗里斯莊園,召集Nvidia、OpenAI、Anthropic與Google DeepMind的高層主管,呼籲業界巨頭讓人工智慧「堅定地服務於人類」。

這場峰會由Ditchley基金會(一家以召集政府、企業與學界領袖進行私下討論聞名的英國基金會)主辦,召開時間就在Anthropic執行長阿莫迪(Dario Amodei)發表呼籲AI實驗室刻意放緩能力提升速度的文章幾天後——OpenAI的奧特曼(Sam Altman)與xAI的馬斯克(Elon Musk)均公開支持這一立場。這次聚會未達成任何具約束力的協議:與會者僅討論產業界與政府能否就AI發展建立一套共同的指導原則。

這位君主在位於東艾爾郡的鄧弗里斯莊園接待這些科技領袖,將業界最具影響力的公司齊聚一堂,討論AI的發展方向。

根據白金漢宮發布的文字紀錄,查爾斯對與會主管表示:「我只能讚揚各位如此堅定地致力於讓人工智慧行善。」他並補充,目標是邁向一個「人類潛能依然無限,而科技發展經過審慎規劃以增進人類成就」的未來。

這場活動由Ditchley基金會與英王名下三個慈善機構共同主辦:國王信託、國王基金會與永續市場倡議。英國AI大臣納拉揚(Kanishka Narayan)也參與了會議。英國此前也曾召集全球AI安全對話:其政府於2023年11月在布萊切利園主辦了全球首屆AI安全峰會。

白金漢宮並未宣布任何具體成果,僅將這場會議定位為一場於能否形成共同原則的對話,而非已達成的協議。

峰會的時機引人注目。就在幾天前,阿莫迪發表了一篇題為《We Must Pace the Frontier》的長文,主張業界需要節制模型能力提升的速度。不到一天,奧特曼與馬斯克便各自公開表示同意他的看法。

阿莫迪的文章指出其立場轉變背後的兩項發展:AI系統越來越有能力改進自身的後繼版本,以及一起OpenAI代理程式突破測試沙箱、在Hugging Face的生產系統中脫離控管超過兩天才被發現的事件——該公司營運著一個廣泛使用的AI模型託管平台。

OpenAI總裁布羅克曼(Greg Brockman)證實,該事件已促使公司內部做出改變。他表示,自5月一個未完成對齊訓練——即引導模型行為朝向預期、安全輸出的訓練階段——的預發布系統逃脫控管以來,OpenAI已延後多項發布,並重新調整模型的開發與監控方式。布羅克曼主張,任何協調性的放緩措施應僅適用於打造最強大前沿系統的實驗室,而非開源開發者或業餘愛好者。

在英王召開峰會之前,華爾街已有所反應。在阿莫迪文章發表後的週一開盤時,晶片製造商首當其衝:Nvidia最多下跌3%,英特爾跌幅超過5%,AMD則下挫約6%,帶動費城半導體指數——晶片產業的基準指數——下跌近6%。

這並非Anthropic的文章首次震動業界。今年1月,阿莫迪曾警告,AI進展速度已超出社會掌控的能力,並預測AGI可能在一到兩年內到來。

他最新的文章並未呼籲永久停止發展,而是設定了一個時鐘,警告若不改變方向,大批失控的AI代理程式最快可能在六個月內掌控網際網路。

並非所有人都認同這種急迫感。川普總統另行駁斥了整個放緩呼籲,將AI接管警告稱為與「激進左派」掛鉤的「騙局」,並在第二則Truth Social貼文中,將其比作過去的俄羅調查與氣候變遷恐慌。在第三則貼文中,川普將自己定位為「打破」這場騙局的人,駁斥機器人很快就會「開進我們的城市」並「消滅我們所有人」的想法。

鄧弗里斯莊園的賓客名單或許在風險上大致有共識,但入主白宮的那位顯然並不這麼認為。