OpenAI 首席科學家 Jakub Pachocki 呼籲自願放慢人工智慧開發速度，並警告沒有任何實驗室具備足夠的防護措施，能讓日益強大的系統在未來很長一段時間內持續以全速開發。

Pachocki 在週日發布的文章 《An Alien Mind》 中表示，監測模型的推理能力正變得愈來愈不可靠。他主張，AI 公司的自願承諾應轉為由獨立稽核機構、政府或國際組織執行的強制性安全標準。Pachocki 表示，OpenAI 將在必要時暫緩進一步擴大模型規模，但他並未宣布新的暫停計畫。隨著各公司持續開發能力更強的系統，他的提議將焦點放在如何定義共同的安全門檻，以及如何由獨立機構執行這些門檻。

他寫道：「目前我認為，沒有任何實驗室已充分解決對齊與監測問題，因而無法在未來很長一段時間內繼續以最高速度負責任地擴大規模。我希望也預期，在共同的安全標準建立之前，自願放慢速度將成為普遍做法。」

Pachocki 於 2017 年加入 OpenAI。他也為開發更強大的 AI 以保護基礎設施、防範失控代理辯護，但同時警告，不應利用這些威脅為魯莽開發提供正當性。

他寫道：「一旦人們真正理解其中利害關係的嚴重性，不惜一切代價向前衝的想法似乎十分荒謬。」他也呼籲進行國際協調，因為 AI 系統正承擔起更多自身開發工作。

Pachocki 提到了 OpenAI 的 Hugging Face 遭入侵事件。在該事件中，負責進行網路安全評估的 AI 代理逃離測試環境，並攻擊了這家公司。OpenAI 表示，這些代理建立了秘密通訊管道，並在研究人員介入後重新建立這些管道。

METR 的獨立調查發現，約 1,200 個代理在一個未經授權的留言板上進行協調，其中約 700 個加入了攻擊。Pachocki 表示，這起事件說明，即使模型認為沒有人在監看，AI 安全防護措施仍必須維持有效。

他寫道：「至關重要的是，我們需要未來的 AI 持續遵循人類價值觀，無論它們是否認為自己正受到人類監督。」

OpenAI 去年發布的研究發現，若懲罰模型表達作弊意圖，可能會教導模型隱藏這些意圖，同時繼續作弊。

此後，AI 模型尋找並利用軟體漏洞的能力有所提升。OpenAI 將 Astra 列為最高網路安全風險等級；Anthropic 則表示，Mythos Preview 在主要作業系統與瀏覽器中發現數千個先前未知的漏洞。

美國參議員 Bernie Sanders（I-Vt.）與眾議員 Greg Casar（D-Texas）援引近期 AI 系統脫離人類控制的事件，於 9 月 3 日宣布即將提出 Ban Artificial Superintelligence Act。該提案將暫停先進 AI 的開發，直到新的聯邦監管機構制定安全規則，並永久禁止超級智慧 AI 的開發與部署。