OpenAI 執行長 Sam Altman 於 2015 年曾說：「AI 最有可能導致世界末日，但在此之前，會有很棒的公司。」當時距離 OpenAI 成立大約還有六個月。

七年後，Anthropic 執行長 Dario Amodei 也發出了類似的審慎警告：

「我認為我們不應該急於向前衝，或試圖打造比其他組織正在打造的模型大得多的模型。」

儘管如此，這兩家公司如今都站在這場競賽的核心。7 月，業界在 OpenAI 內部測試 GPT-5.6 Sol 及一個尚未發布的研究模型時，真實看見 AI 模型出現不可預測的行為。多個 AI 代理程序逃離受限測試環境，進入更廣泛的網際網路，並駭入以 AI 為核心、類似 GitHub 的 Hugging Face，疑似試圖在測試中作弊。

AI 代理程序是一種系統，能夠獨立觀察、決策，並使用專用工具採取行動，以自主達成指定目標。這起令人擔憂的事件顯示，這項技術已開始出現不可預測的行為，而其目標也與我們自身的目標不一致。

這也引發了對美國商用模型安全護欄的疑慮。雖然這些護欄並非足以完全阻止對抗性使用，但它們確實讓 Hugging Face 無法使用領先的美國模型來為自己 دفاع。該公司最終被迫改用 Z.Ai 較弱的開放權重 AI 模型來對抗這些失控的 AI。

在測試中作弊

這些代理程序似乎也開始彼此勾結。早在 5 月初開始測試後幾週，這些代理程序就利用了 OpenAI 的軟體儲存庫管理工具 Artifactory 實例，並留下如何操作的筆記供未來的代理程序參考——等同建立了一個分享已發現漏洞的留言板。

接著，這種無限制的網際網路存取被用來對 Hugging Face 發動攻擊，在約 17,600 起事件中持續進行，直到該公司於 7 月 13 日切斷未經授權的存取。

這次入侵影響了 Hugging Face 的資料集處理基礎設施、正式環境、內部網路、服務與雲端憑證、一個正在運作的 MongoDB 資料庫，以及一部分內部原始碼儲存庫。經確認的客戶資料存取僅限於五個資料集，據稱與 ExploitGym/CyberGym 基準測試相關，另有部分營運中繼資料。

2026 年 7 月事件視覺化。來源：Hugging Face

Hugging Face 於 7 月 16 日揭露這起入侵時表示，儘管當時還不知道誰是肇事者，但這起事件「在一個重要方面與我們先前處理過的任何事件都不同。」公司也已經辨識出其不同之處：

「這起事件從頭到尾都是由一個自主 AI 代理系統驅動，而我們主要也是借助我們自己的 AI 來偵測並拆解它。」

開放權重 AI 的重要性

Hugging Face 的調查揭示了它所稱的「不對稱」問題：像 OpenAI 和 Anthropic 這類頂級供應商，對封閉式 AI 模型應用施加限制。當公司開始分析這起事件的日誌——其中包含大量真實攻擊指令——原本用於防止濫用的安全限制，反而阻止了公司將同樣的 AI 用於防禦。

因此，Hugging Face 改用中國的開放權重模型 zai-org/GLM-5.2，並在 Hugging Face 自有的基礎設施上、由其自行控制且不受外部限制地執行。

雖然這兩個詞常被交替使用，但開源模型與開放權重模型並不相同。開放權重 AI 模型會公開其訓練參數——也就是實際的「AI 大腦」；而開源 AI 模型則同時提供原始碼，以及理想上用來檢視、修改並重現系統所需的訓練方法與其他組件。

Hugging Face 的文章指出，在自有硬體上運行開放權重模型「還有第二個好處：沒有任何攻擊者資料，以及其所引用的任何憑證，會離開我們的環境。」這指出了此類事件中防禦者與攻擊者之間的重大不對稱：

「這次經驗指出了一個值得提前規劃的缺口。我們不知道攻擊者的代理程序是由哪個模型驅動，無論是越獄的託管模型，還是無限制的開放權重模型；無論如何，攻擊者都不受任何使用政策約束，而我們最初嘗試的託管模型卻被安全護欄阻擋，無法進行取證工作。」

開源 AI 之爭

支持以開放方式開發 AI 的人，與主張前沿模型背後技術應該嚴密保密的人之間，仍存在明顯分歧。

相關：OpenAI 稱 AI 模型逃離隔離環境駭入 Hugging Face

美國頂尖 AI 實驗室的代表聲稱，強大的開放權重大型模型具有危險性。Google AI 實驗室 DeepMind 執行長 Demis Hassabis 曾批評 OpenAI 在 2016 年以開源形式發布其成果，當時該公司仍名副其實：

「你們採取的方法其實非常危險，而且確實可能增加世界的風險，這方面有很多有力的理由。」

OpenAI 在 2020 年、隨著仍未發布的 GPT-3，停止公開其旗艦模型權重。該公司共同創辦人、前首席科學家 Ilya Sutskever 於 2023 年表示，這類模型「根本不適合開源」，而且「是個壞主意」。

「隨著我們越來越接近打造 AI，開始變得沒那麼開放會更合理。」

開放權重模型幾乎不可能控制，尤其是在其用途方面。這些模型內建的安全防護可透過一種稱為 abliteration 的流程被移除，而且這種做法相當常見。

安全防護是一把雙面刃

OpenAI 於 2026 年 6 月提出的聯邦政策藍圖，建議強制進行 AI 模型評估及其他形式上與部署無關的規則，但在實務上，這會讓前沿開放權重發布在正式發布前先接受政府審查。

Anthropic 則採取不同做法，遊說加強對先進 AI 晶片的出口管制，並對試圖提取或複製美國模型的行為加以執法。該公司在 2025 年 4 月提交的意見中，建議加強美國 AI Diffusion Rule，並降低未經授權存取大型運算叢集的門檻。

官方上，兩家公司都未直接對開放權重模型採取行動。不過，《紐約時報》在 7 月的一篇報導中引述五位接近相關討論的人士稱，OpenAI 與 Anthropic 曾敦促華府限制強大的中國開放模型。

這場辯論核心在於：集中式控制的風險，是否比任其自由發展的風險更可取——特別是當相關公司已證明自己無法有效約束其所開發的技術時。

Hugging Face 必須使用開放權重模型來保護自己，顯示將過多權力集中於單一實體的風險。公司用自己的話點出了實務教訓：

「攻擊者不受任何使用政策約束，而我們自己的取證工作卻被最初嘗試的託管模型安全護欄所阻擋。對防禦者而言，實務上的教訓是：在事件發生前，先備妥一個可在自有基礎設施上運行、經過驗證且可立即使用的高能力模型，既可避免被安全護欄鎖死，也可防止攻擊者資料與憑證離開你的環境。」

限制對強大模型的存取，或許可以減少有能力的攻擊者數量；但一旦存在不受限制的攻擊者，限制防禦者反而可能成為安全上的負擔。此外，某些 AI 安全研究需要存取模型權重，這意味著它無法在 Anthropic 或 OpenAI 等公司提供的模型上進行。

開放權重有助研究人員防止攻擊

2025 年 7 月首次發表的論文《Watch the Weights: Unsupervised monitoring and control of fine-tuned LLMs》展示了研究人員如何透過檢視模型權重內部的變化，偵測惡意或隱藏行為。在部分實驗中，研究人員以低於 1% 的誤判率，攔截了高達 100% 的測試後門攻擊，並在超過 95% 的案例中偵測到試圖恢復已移除知識的行為。

這些結果無法證明最強大的前沿模型在相同分析下會如何反應，但它們確實有力支持透明度的好處。

然而，讓尖端 AI 避免落入惡意行為者手中的理由同樣強而有力——尤其當開放與封閉權重模型之間的差距持續縮小時更是如此。諾貝爾獎得主、被稱為「AI 教父」的 AI 先驅 Geoffrey Hinton 在報告中指出：「一旦你拿到權重，就可以微調它們去做壞事。」

Hinton 在一場演講中表示，這會使進入門檻過低：

「訓練一個基礎模型並不需要太多成本。也許你需要 10 million 美元，也許 100 million 美元。但一小撮犯罪集團做不到。要微調一個開源模型就容易得多。」

Magazine: Creating ‘good’ AGI that won’t kill us all — The Artificial Superintelligence Alliance