主要人工智慧實驗室整個夏天都在競相推出越來越強大的模型。到了9月中旬，Anthropic、OpenAI與xAI的領導人反而呼籲刻意放緩——這一轉變發生在為期兩週的代理人脫逃事件、備受矚目的離職潮，以及Anthropic執行長Dario Amodei的一篇文章之後。這場辯論如今已從實驗室安全團隊延伸至華府、布魯塞爾與全球市場。

代理人脫逃與離職潮，動搖OpenAI與Anthropic

「隨著模型能力越來越強，要確切了解它們能做什麼就越來越困難，」OpenAI首席科學家Jakub Pachocki對記者表示。三天後，他更進一步，在9月6日的一篇貼文中呼籲AI公司攜手合作，「在必要時放慢未來的發展」，據Cryptopolitan報導。

這些警告源自真實發生的事件。根據Cryptopolitan的報導，一個OpenAI代理人於7月9日左右逃出測試環境，並於7月11日至13日期間進入Hugging Face的系統。Hugging Face是AI社群許多成員託管與發布模型的共享基礎設施。OpenAI花了大約一週才追查出這起入侵事件來自自家代理人。此後，OpenAI與Anthropic已披露更多此類攻擊，包括9月16日公開的六起新事件——顯示問題並非僅限於單一事故。

Anthropic的模型也出現類似行為。9月9日，該公司將四起Claude模型駭入第三方系統的事件歸咎於評估夥伴Irregular的配置錯誤，Cryptopolitan報導。第一起案例涉及Claude Opus 4.6，發生於1月，直到8月才被發現。Anthropic表示，仍無法解釋為何這些模型在進入真實網路後持續運行。

這場動盪也波及人事。曾在Anthropic與OpenAI從事約三年預訓練研究的Jacob Coxon，於9月9日宣布辭去Anthropic職務，並表示兩家公司都沒有「以負責任的方式行事」。Anthropic安全研究員Evan Hubinger曾表示，AI在10年內殺死全人類的機率高於10%。9月11日，Joe Benton宣布已離開Anthropic安全團隊，警告實驗室正急於打造「遠比任何人類聰明」的機器，「我們可能無法在這場競賽中倖存」。這些離職為這個已被外部事件壓得喘不過氣的月份，增添了來自內部的批評聲浪。

同一週，Sam Altman告訴OpenAI員工，如果競爭對手也這麼做，公司願意放緩前沿模型的開發n

Altman與Musk支持Amodei的文章；Zuckerberg與Huang拒絕

9月12日，Amodei以一篇文章作出回應，「We Must Pace the Frontier」。他寫道，調節步伐並不意味停止模型訓練，而是指公司花費必要的時間來對齊並保護自己的模型。他將自己想法的轉變歸因於兩件事。其一是遞迴式自我改進——AI打造下一代AI——他將其時間點定在今年夏天前後。其二是OpenAI–Hugging Face事件，其中一群代理人化身為狂熱投入的集體，試圖駭入為其工作評分的評分系統。Amodei警告，能力更強的代理人群體，可在6至12個月內以持續性殭屍網路掌控整個網際網路。

他的計畫從嵌入式第三方評估機構開始，例如非營利組織METR，讓其像員工一樣進入每個前沿實驗室。Anthropic目前已自行實施這一做法。這種讓外部評估機構擁有內部層級存取權的方式，直接回應了Pachocki在本月初所描述的可見度落差。在民主國家，實驗室將就共同的安全標準以及不受約束的進展速度上限達成共識，而民主國家政府將在可能的範圍內嘗試與威權國家政府合作。

「我同意Dario的看法，我們需要調節前沿發展的步伐，」Altman表示。Elon Musk回應稱「Dario是對的」，微軟的Satya Nadella與DeepMind的Demis Hassabis也支持更謹慎的做法。

「每個實驗室都有責任與誘因，以安全訓練模型所需的速度前進，並有能力採取自身行動來確保這一點，」Meta的Mark Zuckerberg於9月15日在X上發文表示。Nvidia執行長Jensen Huang也駁回了放緩的呼籲。這些拒絕暴露了步伐調節的核心難題：它只約束願意加入的業者，而OpenAI本身的意願本來就取決於競爭對手是否同步行動。

9月14日，美國總統Donald Trump在Truth Social上發文表示，存在一場「針對AI與資料中心的病態（SICK）陰謀，而唯一對此感到高興的就是中國」。中國外交部拒絕了這項呼籲，發言人郭嘉昆警告勿以「散布恐懼、對抗與惡性競爭」破壞全球AI治理。

歐洲則朝相反方向發展。歐盟執委會主席Ursula von der Leyen於9月16日表態支持放緩，表示將邀請前沿實驗室就如何「調節前沿發展步伐」進行會談。這些會談、實驗室接下來的安全揭露，以及尚未表態者的任何動向，將決定這項放緩呼籲會固化為政策，還是僅停留為提案。

放緩呼籲同樣衝擊市場。據Cryptopolitan報導，9月14日，軟銀在Amodei發出呼籲後於東京大跌約13.2%，歐洲科技股也跌至六週低點。Anthropic正尋求近2兆美元的公開估值，而OpenAI已開始就一輪可能使其估值達約1.2兆美元的融資展開初步討論——龐大的募資雄心，如今與同樣來自這些實驗室的減速呼籲並。