查爾斯三世國王告訴全球最大人工智慧企業的領袖，他們必須設法讓這項技術維持在人類控制之下，並警告說，正是打造出這項技術的人，如今擔心它可能發展出「更黑暗的能力」，甚至被用來殺人。

蘇格蘭的一場私人聚會

國王在蘇格蘭東艾爾郡的鄧弗里斯莊園發表上述談話，該聚會由 Ditchley Foundation 主辦。活動吸引約 30 名高階主管、官員和研究人員，包括英國 AI 部長 Kanishka Narayan、Nvidia 執行長 Jensen Huang、DeepMind 共同創辦人 Demis Hassabis、OpenAI 財務長 Sarah Friar，以及 Anthropic 全球事務主管 Tino Cuéllar。

據 Bloomberg 查閱的一份私人賓客名單，這份僅限受邀者參加的名單據報還包括 MI6 負責人 Blaise Metreweli、作家 Yuval Noah Harari，以及清華大學的 Xue Lan。這個會場的多元組成——前沿實驗室高層與政府部長、情報機構首長、作家及梵蒂岡顧問同席——顯示 AI 安全已從技術辯論延伸為國家治理問題。

77 歲的查爾斯發言約 20 分鐘後便離開會場，希望與會者能進行富有成果的討論。他表示，那些重視人類道德核心的人「焦急地尋求你們的保證，確信我們不會失去對自身命運或靈魂的控制」。

「同等程度地引人入勝，也令人深感憂慮」

這位君主形容該技術的發展速度「同等程度地引人入勝，也令人深感憂慮」。他讚揚 AI 在醫學和生命科學領域的成果，隨後向在場人士提出一個直接的問題：「我們確實需要足夠的控制手段，以免一切都太遲，不是嗎？」

國王指出 AI 創造者自身的擔憂，表示相關系統可能「發展出更黑暗的能力，甚至可能奪取生命」。他敦促高階主管衡量這些工具落入錯誤之手所帶來的「生存性危險」。

這並非查爾斯首次表達類似擔憂：2023 年，他曾向英國布萊奇利園 AI 安全峰會發表影片訊息，傳達相近看法。梵蒂岡 AI 顧問 Paolo Benanti 出席了蘇格蘭峰會，而教宗 Leo XIV 在 5 月的一份通諭中寫道，AI 不應留在「少數人」手中。

AI 高階主管怎麼說

Demis Hassabis 告訴與會代表，通用人工智慧——能夠在許多任務上匹敵或超越人類的系統——「可能只需幾年」便會到來。他表示，這項技術的影響力可能是工業革命的十倍。他補充說，出現問題的機率「絕對不是零」，但隨後表示「未來尚未寫定」。

Sarah Friar 表示，這項技術日益增強的力量引發了如何讓它服務於人類的問題，並補充說，「沒有任何一家公司或政府能單獨做到這一點」。

Nvidia 市值接近 5.15 兆美元的 Huang 告訴與會者，安全至關重要，若產品尚未準備就緒，就應暫緩推出。他主張監管 AI 產品，而非技術本身，並為開放模型辯護，認為這有助於避免較小國家和研究人員被排除在外。這項區分——針對技術本身的規則，與針對其所打造產品的規則——正處於全球監管辯論的核心。結合 Friar 對沒有任何單一行動者能獨自管理這項技術的警告，這些交流勾勒出目前塑造 AI 監管的兩大方向：規則應適用於何處，以及誰應承擔責任。

業界警告加劇的辯論

這場峰會在業界內部警戒升高的背景下舉行，此前 Anthropic 研究員 Jacob Coxon 發布了一則在網路上廣泛流傳的辭職貼文，其同事 Evan Hubinger 更預測 AI 導致人類滅絕的機率為 10%。Cryptopolitan 曾報導，Anthropic 的 Dario Amodei 發表文章，敦促實驗室「放慢前沿發展速度」；OpenAI 本週則推出一套系統，在記錄到六起令人擔憂的行為事件後，將披露模型的不當行為。

不過，也不是所有人都接受這種危險確實存在：Donald Trump 總統將這類擔憂斥為「騙局」。這一落差將如何縮小——透過 OpenAI 新披露系統這類由實驗室建立的防護措施、Huang 所支持的以產品為重點的監管，或 Amodei 所敦促的前沿「放慢腳步」——如今成了高階主管離開鄧弗里斯莊園後仍持續面對的問題。

來源：Cryptopolitan