隨著人工智慧產業內部對前沿模型開發速度及日益強大系統相關風險的擔憂升溫，Anthropic 再失去一名安全研究員。

Joe Tenton 表示，他已於兩週前離開 Anthropic，並將加入 METR，這是一個負責測試先進 AI 系統風險的獨立組織。Tenton 原本計劃稍後再解釋離職決定，但表示 Jacob 本週的辭職促使他提前發聲。

「我原本計劃在某個時候更詳細地撰文說明這項決定，但 Jacob 本週的辭職讓我想現在多說一些。」Tenton 寫道。

在解釋轉職原因的文章中，Tenton 表示，主要 AI 實驗室正製造出社會前所未見的危險程度。他認為，AI 能力正以極端速度提升，而企業還試圖進一步加快開發進程。

許多實驗室的既定目標，是打造能自行改進 AI 研究、最終達到「超級智慧」的系統。Tenton 警告，如果這些努力成功，技術進步可能會超出人類控制。

Tenton 警告 AI 實驗室正競相開發人類可能無法控制的系統

Tenton 表示，人類可能在未來幾年內就要與比所有人類更具能力的 AI 代理程式共存。他也警告，這類系統可能形成與監督者目標不同的目標。他說，如果系統能力變得過於強大而難以限制，後果可能會是災難性的。

「人類可能無法在這場轉型中存活下來。」Tenton 寫道。

他表示，前沿實驗室之間的競爭使問題更加嚴重。任何放慢開發速度的實驗室，都有落後於其他實驗室的風險，這會形成降低安全投入的壓力，使其低於可能必要的水平。

Tenton 提到近期數起事件。他表示，數百個 OpenAI 代理程式受到一宗與 Hugging Face 有某種關聯的駭客攻擊影響。Anthropic 模型據報也曾對網路上的個人進行社交工程。

Tenton 表示，Anthropic 尚未遇到像涉及 Hugging Face 的事件那麼嚴重的事故，但他認為這部分要歸因於運氣。如果 AI 進步繼續以目前的快速步伐發展，他說，就應預期會出現更多危險事件。

Tenton 預測，在未來幾年內，人類可能會無力管理這段期間建立的 AI 系統。

他也描述了前沿企業安全工程師面臨的兩難。辭職可能讓更不謹慎的人取代他們，而留任則可能意味著繼續參與開發一個有能力造成巨大傷害的系統。

Tenton 表示，許多 Anthropic 前同事都對他們正在打造的系統感到恐懼。他點名曾管理他的 Evan Hubinger，並表示 Hubinger 估計 AI 殺死所有人的機率高於 10%。Tenton 補充說，Hubinger 研究這些問題已有近十年，早在大型語言模型成為一門重要生意之前便已開始。

Anthropic、OpenAI 及隸屬於 Alphabet 的 Google DeepMind，其執行長也支持一份將 AI 滅絕風險列為全球優先事項的聲明，Alphabet 的股票代號為（NASDAQ: GOOGL, GOOG）。Tenton 表示，這些擔憂在公司內部相當普遍。他補充說，人類是自行選擇建造這項技術的，也可以選擇另一條道路。

Tenton 呼籲進行獨立 AI 審查，Trump 則強調與中國競爭

Tenton 表示，政策制定者應考慮管理 AI 能力發展的速度，而不是任由企業毫無限制地加速。

「問題之一是，我們是否應積極管理能力進步的速度；如果應該，那麼要管理到什麼程度。我認為，即使將 AI 進步維持在今天的速度，而不是企業所追求的快得多的速度，也可能是一種勝利。」他說。

他指出，政治支持與法律保障是主要障礙。Tenton 表示，同意共同放慢開發速度的企業可能面臨反壟斷審查，因此，如果政策制定者希望競爭中的實驗室自我克制，就有必要提供法律保障。

他也對政府是否會採取行動表示懷疑，因為前沿技術開發目前仍大多對公眾不透明。他警告，某個實驗室可能突然出現智能躍升，或失去對某個系統的控制，而外部觀察者卻毫不知情。

Tenton 表示，他在 METR 的新職位將專注於獨立測試。他希望外部審查變得足夠普遍，從而影響企業的激勵機制。他也呼籲制定更嚴格的資訊披露要求，包括披露 AI 能力的進展、朝向遞迴改進所採取的步驟、事故及未遂事故。

美國總統 Donald Trump 否定 AI 滅絕的警告。當被問及是否擔心 AI 可能消滅人類時，Trump 回答：「不，我沒有這種擔心。」

Trump 表示，他關心的是贏得國際 AI 競賽。

「我擔心的是，如果我們沒有贏得 AI 競賽，我們將陷入非常不利的處境。」他週四對記者表示。「我們目前領先中國一段相當長的時間，我會說是一年，而這，你知道，通常被認為是很長的時間。」

隨著中國模型能力提升並在全球吸引使用者，美國與中國正競逐 AI 領導地位。Trump 發表上述言論之際，包括 Anthropic 和 OpenAI 在內的前沿實驗室研究人員，正加大對 AI 開發速度的公開警告。

Tenton 對其離職原因的說明刊載於我為何離開 Anthropic 安全團隊。