AI安全专家对OpenAI构建其即将发布的前沿AI模型Astra的方式发出警报，称这一做法可能加速人类失去监控AI智能体推理能力的那一天的到来。

在这款新模型中，OpenAI对模型的部分内部架构采用了一种被称为“循环深度”或“循环Transformer”的方法。该技术可显著提升AI模型的效率，因为处理每个提示词所需的算力更少——在许多企业抱怨使用最先进前沿AI模型成本高昂的当下，这是一项极具价值的特点。

然而，这一新流程也意味着模型“思维链”的一部分——即它所采取的推理步骤——不再以自然语言表达，使人类更难监控模型在做什么以及为什么这么做。思维链监控目前是企业确保AI智能体不采取意外或未授权行动的主要方法之一，并且已成为AI可解释性领域的核心焦点。在该领域中，包括OpenAI、Anthropic和Google DeepMind在内的主要实验室的研究人员研究模型的可见推理是否真正反映其内部计算。研究人员已提醒，思维链文本并不总是“忠实于”模型的真实内部过程，这使得保留任何可读的推理痕迹对安全团队尤为重要。

科技媒体The Information本周早些时候率先报道了OpenAI在Astra中使用循环深度的消息。OpenAI首席科学家Jakub Pachoki及其他几位OpenAI研究人员批评该报道在AI安全研究者中引发了不必要的恐慌，并表示公司已限制循环Transformer架构的使用范围，以保持模型推理的可读性。

针对The Information的报道，Pachoki在X上写道，“我们非常重视”思维链监控，并且“OpenAI自最早的推理模型以来，一直致力于保留和利用思维链监控”。他表示OpenAI未来将分享Astra架构的更多细节。

Pachoki补充说，他认为思维链监控可能变得更具挑战性，但这将是“出于与架构变化无关的原因”，例如OpenAI已开始实施的循环深度。“但我们可以做一些事情来加强它，这是我们当前研究计划的核心目标，”他写道。

在Pachoki发表声明之前，前OpenAI安全研究员、现运营专注AI安全基准和标准的非营利组织Guidelight AI Standards的Steven Adler在X上写道，如果The Information的报道属实，“OpenAI似乎正在越过AI行业中为数不多的红线之一。”

致力于推动政策帮助美国人为AI影响做准备的华盛顿特区智库AI Policy Network的政策主管Peter Wildeford告诉Fortune，OpenAI使用循环深度“可能非常令人担忧”，且“可能鲁莽”。他指出，OpenAI和外部AI评估公司之所以能够拼凑出7月事件的来龙去脉——当时OpenAI的多个AI模型自主攻击了Hugging Face公司——唯一的方式之一就是阅读这些模型的思维链。OpenAI还表示，作为防止未来AI失控事件努力的一部分，公司正在为实时思维链监控投入大量资源。“如果OpenAI确实在偏离这一方向，那这就是错误的方向，”他说。

多位AI安全专家表示，他们对OpenAI在Astra中使用循环Transformer感到担忧，并不一定是因为它使Astra自身的推理更难监控，而是担心此举会使该技术常态化，开创一个其他AI公司可能效仿并进一步扩展的先例，最终导致推理步骤对人类完全不透明的AI模型。

前OpenAI治理研究员、现运营致力于预测先进AI可能影响的非营利研究组织AI Futures Project的Daniel Kokotajlo回应Pachoki称，“即使OpenAI不进一步[使用使模型思维链可读性降低的架构]，其他公司也可能这么做。”

Kokotajlo敦促Pachoki牵头制定关于思维链可监控性的行业统一标准，“要么阻止滑向湮灭的深渊，更好的是力争上游。我认为在这件事上，我们需要的不仅仅是政治意愿，我们需要深思熟虑的技术规范。”这种对共享技术标准的呼吁呼应了AI行业更广泛的努力——实验室、标准机构和第三方评估者一直在为模型安全性和透明度开发基准，而这项工作依赖于审计者能够一定程度的访问模型的推理方式。

Transformer通常如何工作

在标准Transformer中，token——大语言模型处理的信息单元——从模型神经网络的较低层按顺序传递到较高层，每层依次施加数学运算。在语言模型中，这一过程的最终输出是人类可读的文本。在推理模型中，模型被要求输出一系列得出答案的步骤，这些文本首先被写入一个草稿区，构成模型的“思维链”。这一中间文本随后再次被送入所有层以生成下一步骤，如此往复，直到模型得出最终答案并输出答案文本。

更便宜但更难解读的流程

在循环Transformer中，token被多次送入同一个块（该块实际上可以由多个不同的层组成，但不是整个网络），每次都施加相同的数学运算。关键在于，该块的输出被回馈到块中，而不会每次都写入草稿区。因此，该方法不会生成自然语言的“思维链”，尽管每次通过该块确实代表了模型的推理。AI研究人员有时将该块的输出称为“神经语言”，因为它可以被AI模型处理和推理，但人类无法理解。该模型唯一的自然语言输出是最终答案。

循环Transformer的优势在于，通过每次使用相同的数学运算、无需将每个token送入网络的每一层，它们可以在使用更少算力的情况下，从给定规模的模型中榨取更高的性能。研究表明，循环Transformer可以在使用少50%至90%算力的情况下达到与标准Transformer相同的性能。这对成本至关重要——这是许多企业AI客户的关键考量，他们一直在抱怨不断飙升的AI账单。这对提供商也同样重要，因为训练和运行前沿模型所需的算力已成为AI行业最大的开支之一，推动了对数据中心和定制芯片的大规模投资。

遮蔽模型思维链推理的一部分还会使模型更难被蒸馏——这是一种用较大模型的输出训练较小模型的方法。美国政府和美国AI公司曾指控中国AI公司从事蒸馏前沿AI模型的活动，包括复制思维链推理步骤。

循环Transformer只是研究人员正在考虑的几种旨在提升AI模型效率、但可能摧毁模型全部或部分思维链的新架构之一。另一种技术是Prefix Sliding，该技术在周二的Fortune“Eye on AI”通讯中有所介绍。该方法保留初始提示词和最后数千个推理token，但丢弃许多中间推理token。Astra的最终走向——以及其他实验室是否效仿OpenAI——将有助于决定未来AI系统的推理在多大程度上对部署它们的人类保持可见。

Fortune高级记者Beatrice Nolan对本报道有贡献。本报道最初发布于Fortune.com。