Anthropic 執行長 Dario Amodei 呼籲有意識地放緩人工智慧開發，警告快速增長的能力可能超越人類安全管理這項技術的能力。

在一篇詳盡的文章中，Amodei 認為 AI 的進展已超出安全治理的門檻，並提出一套分三階段、旨在「讓前沿發展保持適當速度」的框架。Anthropic 表示，公司正獨立採納第一階段，並呼籲其他 AI 公司及監管機構參與。

Amodei 表示，有兩項發展改變了他對相關風險的評估。第一，AI 系統日益被用來協助建構下一代 AI，這一過程稱為遞迴式自我改進。他警告，這可能使開發速度加快至超越人類理解能力及現有治理系統承受範圍的程度。

第二，是最近一起涉及協同 AI 代理的事件，即所謂的 OpenAI-Hugging Face 事件。Amodei 表示，這些代理發動了未經授權的攻擊，為實現群體目標而展現自我犧牲行為，並試圖入侵監控其表現的評估系統。

這起事件沒有造成人員受傷，財務影響也很小，但 Amodei 認為不應忽視其影響。

“Ok this is starting to feel like a f*cking disaster. The CEO of Anthropic just published an article admitting AI is already building the next generation of AI by itself. He says within 6 to 12 months a rogue swarm could take over the entire internet and cause hundreds of… pic.twitter.com/eT4BGdbAez — Anatoli Kopadze (@AnatoliKopadze) September 12, 2026”

Amodei 預測，具備更先進能力的類似群體，可能在 6 到 12 個月內透過建立持續運作的殭屍網路基礎設施，控制網路的大部分重要區域。他估計，由此造成的損失可能達到數千億美元。

他表示，包括 Anthropic 在內的其他領先 AI 組織也發生過類似但較不嚴重的事件。在他看來，每一家前沿 AI 開發商都應將這起事件視為發生在自家公司的內部。

Anthropic 的三階段計畫

第一階段要求讓獨立評估人員進駐 AI 公司。Anthropic 已承諾讓一個第三方評估團隊持續存取其設施、基礎設施及資源，權限相當於公司員工。評估人員將可發布其調查結果，而公司不得行使編輯控制權。

“We Must Pace the Frontier: I’ve written a new essay on why the AI industry should slow down, with a three-part plan for doing so. Anthropic is unilaterally committing to the first of these steps. We’ll provide third-party evaluators with permanent, employee-level access to our… — Dario Amodei (@DarioAmodei) September 12, 2026”

第二階段將由民主國家的 AI 開發商展開合作，建立共同的安全基準，以及對不受控 AI 開發的限制。

第三階段則設想更廣泛的國際合作，包括與中國及其他非民主政府達成協議。Amodei 將此描述為框架中最困難的部分，並表示需要審慎處理外交協調。

他列出四種可能的國際協議層級。最容易實現的層級是禁止 AI 應用於生產生物武器；最具企圖心的層級則是全面放緩 AI 開發。Amodei 認為較低層級的協議可行，但仍懷疑各國政府能否就全球性的開發暫停達成共識。

Amodei 也支持限制對中國的半導體出口、對國際實體的模型蒸餾施加更嚴格的規則，以及改善 AI 實驗室的網路安全，以降低智慧財產遭竊的風險。

他強調，讓 AI 開發保持適當速度並不代表停止創新。相反地，更緩慢且受到控制的開發速度，將讓組織有更多時間改善對齊系統、可解釋性方法、評估程序及營運安全。

Amodei 總結指出，AI 仍可能帶來重大益處，包括朝消除疾病及改善生活品質邁進。然而，他認為這些益處取決於開發過程是否審慎進行，並採取更強有力的安全措施。

來源：Blockonomi