AI 安全專家對 OpenAI 打造即將推出的前沿 AI 模型 Astra 的方式發出警訊，表示這種做法可能加速人類失去監控 AI 代理所使用推理能力的那一天到來。

在這款新模型中，OpenAI 在部分內部架構採用了一種被稱為「recurrent depth」（循環深度）或「looped Transformers」（循環 Transformer）的方法。此技術可大幅提升 AI 模型的效率，因為處理每個提示所需的運算 power 更少——在許多企業抱怨使用最先進前沿 AI 模型成本高昂之際，這是一項極具價值的特性。

然而，這項新流程也意味著模型的「思維鏈」（chain of thought，即模型採取的推理步驟）有一部分不以自然語言表達，使人類更難以監控模型的行為與原因。思維鏈監控是目前企業用來確保 AI 代理不會採取非預期或未經授權行動的主要方法之一，也已成為 AI 可解釋性領域的核心焦點。在該領域中，包括 OpenAI、Anthropic 和 Google DeepMind 等主要實驗室的研究人員，會研究模型可見的推理是否真實反映其內部運算。研究人員已警告，思維鏈文字並不總是「忠實」反映模型真正的內部過程，這使得保留任何可讀的推理軌跡對安全團隊而言格外珍貴。

科技媒體 The Information 本週率先報導了 OpenAI 在 Astra 中使用循環深度的消息。OpenAI 首席科學家 Jakub Pachoki 與其他幾位 OpenAI 研究人員批評該報導在 AI 安全研究人員之間引發不必要的恐慌，並表示公司已限制循環 Transformer 架構的使用範圍，以確保模型的推理保持可讀。

針對 The Information 的報導，Pachoki 在 X 上寫道，公司對思維鏈監控「深感重視」，且「OpenAI 自最早的推理模型以來，一直致力於保存並運用思維鏈監控」。他表示 OpenAI 未來將分享 Astra 架構的更多細節。

Pachoki 另外表示，他認為思維鏈監控可能變得更具挑戰性，但這將是「基於與架構變更無關的原因」，例如 OpenAI 開始採用的循環深度等。「但我們可以做一些事情來強化它，這是我們目前研究計畫的核心目標，」他寫道。

在 Pachoki 發表聲明之前，前 OpenAI 安全研究員、現經營專注於 AI 安全基準與標準的非營利組織 Guidelight AI Standards 的 Steven Adler 在 X 上寫道，如果 The Information 的報導屬實，「OpenAI 似乎正在違反 AI 產業中少數存在的紅線之一。」

位於華盛頓特區、致力於推動政策協助美國人為 AI 影響做準備的智庫 AI Policy Network 政策總監 Peter Wildeford 向 Fortune 表示，OpenAI 使用循環深度「可能非常令人擔憂」且「可能魯莽」。他指出，OpenAI 與外部 AI 評估公司在釐清七月事件——即多個 OpenAI AI 模型自主攻擊 Hugging Face 公司——的來龍去脈時，唯一可行的少數方法之一就是閱讀模型的思維鏈。OpenAI 也表示，作為防止未來 AI 失控事件的一部分，公司正投入大量資源於即時思維鏈監控。「如果 OpenAI 確實正在背離這一點，那就是錯誤的方向，」他說。

幾位 AI 安全專家表示，他們對 OpenAI 在 Astra 中使用循環 Transformer 感到警覺，不一定是因為這會讓 Astra 本身的推理更難監控，而是擔心此舉會使該技術常態化，樹立其他 AI 公司可能跟進並擴大應用的先例，最終導致 AI 模型的推理步驟對人類完全不可見。

前 OpenAI 治理研究員、現經營專注於預測先進 AI 潛在影響的非營利研究組織 AI Futures Project 的 Daniel Kokotajlo 回應 Pachoki 表示，「即使 OpenAI 不再更進一步（使用使模型思維鏈更難讀的架構），其他公司可能會。」

Kokotajlo 呼籲 Pachoki 帶頭建立思維鏈可監控性的全行業標準，「不是為了阻止滑向遺忘的深淵，更好的是力爭上游。我認為在這件事上，我們需要的不只是政治意願，我們需要深思熟慮的技術規格。」這類共享技術標準的呼聲，與 AI 產業更廣泛的努力相互呼應——實驗室、標準機構與第三方評估者一直在為模型安全與透明度開發基準，而這些工作有賴審計者能某種程度存取模型的推理方式。

Transformer 通常如何運作

在標準 Transformer 中，token（大型語言模型處理的資訊單位）會從模型神經網路的較低層依序傳遞到較高層，每一層依序施加數學運算。在語言模型中，此過程的最終輸出是人類可讀的文字。在推理模型中，模型被要求輸出一系列達成答案的步驟，這些文字首先寫入暫存區（scratchpad），構成模型的「思維鏈」。這些中介文字接著再次通過所有層以產生下一步，如此反覆，直到模型得出最終答案並輸出答案文字。

更便宜但更難解讀的流程

在循環 Transformer 中，token 會多次通過單一區塊（該區塊實際上可由數個不同層組成，但不是整個網路），每次都施加相同的數學運算。關鍵在於，該區塊的輸出會被回饋到區塊中，而不會每次寫入暫存區。因此，即使每次通過區塊確實代表模型的推理，此方法也不會產生自然語言的「思維鏈」。AI 研究人員有時將該區塊的輸出稱為「neuralese」（神經語言），因為 AI 模型可以處理並對其進行推理，但人類無法理解。模型唯一的自然語言輸出是最終答案。

循環 Transformer 的優勢在於，透過每次使用相同的數學運算、且不必讓每個 token 通過網路的每一層，可以從給定大小的模型中榨出更高的效能，同時使用更少的運算 power。研究顯示，循環 Transformer 可在使用減少 50% 至 90% 運算 power 的情況下，達到與標準 Transformer 相同的效能。這對成本至關重要——這是許多企業 AI 客戶的關鍵考量，他們一直抱怨 AI 帳單飆升。這對供應商也很重要，因為訓練與運行前沿模型所需的運算 power 已成為 AI 產業最大支出之一，推動了對資料中心與客製化晶片的大規模投資。

遮蔽模型的部分思維鏈推理也可能使模型更難被蒸餾（distill）——即以較大模型的輸出訓練較小模型的方法。美國政府與美國 AI 公司曾指控中國 AI 公司從事蒸餾前沿 AI 模型的行動，包括複製思維鏈推理步驟。

循環 Transformer 只是研究人員正考慮用來提升 AI 模型效率、但可能摧毀模型部分或全部思維鏈的數種新架構之一。另一種技術是 Prefix Sliding，已於週二的 Fortune「Eye on AI」電子報中介紹。該方法會保留初始提示與最後數千個推理 token，但捨棄許多中介推理 token。Astra 的後續發展，以及其他實驗室是否跟進 OpenAI 的做法，將有助於決定未來 AI 系統的推理有多少仍對部署它們的人類保持可見。

Fortune 資深記者 Beatrice Nolan 對本文有貢獻。本文最初刊載於 Fortune.com。