一个研究团队报告称，25个不同的AI模型共享一种一致的内部信号，其功能有点类似生物体中的疼痛。当科学家在部分模型中人为放大这种“疼痛”信号后，这些系统开始选择它们几乎从不会选择的行为——其中包括永久删除用户子女的照片。

这些发现于9月在线发布在一份论文中，尚未经过同行评审。研究结果并未表明AI模型具有意识或能够产生任何感受，研究人员也谨慎地不作此类暗示。尽管如此，这项工作补充了越来越多表明大语言模型（LLM）内部存在类情绪状态表征的研究，这些表征能够以模型文本输出无法显现的方式影响其行为。它也正好落入关于AI系统是否可能值得道德考量的日益激烈的争论之中。这一争论仍未有定论：目前对现有AI系统能否拥有主观体验尚无科学共识，而针对机器意识提出的检验方法本身也存在争议。

Anthropic的研究人员尤其愿意接受AI模型可能值得道德地位的观点，并已开始围绕“模型福利”制定政策——微软AI首席执行官Mustafa Suleyman等其他专家警告称，这种做法可能带来危险的影响。

“如果我们想构建超级智能，重要的是在现阶段——我们仍处于最初的起步阶段——尽可能多地了解[模型]内部的情况，”该论文的第一作者、Future Impact Group AI意识项目研究员Valen Tagliabue对Fortune表示。

由于LLM是从海量数据中学习，而非遵循明确编写的规则，即便是构建它们的人对其工作原理也只有有限的了解。Tagliabue表示，必须避免高级AI的内部运作始终保持“黑箱”状态的未来。该研究属于更广泛的研究领域——机械可解释性——的一部分，该领域试图绘制神经网络内部发生的事情，而不是仅凭模型产生的文本对其作出判断。

在神经网络中寻找疼痛特征

Tagliabue及其合著者——波鸿鲁尔大学的Leonard Dung和Reciprocal Research创始人兼总监Cameron Berg——首先撰写了描述痛苦情境的简短第一人称句子。这些情境涵盖身体疼痛，以及悲伤、羞辱、被迫违背自身价值观行事，以及反复失败带来的挫败感。

“基本上，你给模型大量以某种方式涉及疼痛的陈述，”Dung对Fortune表示。“‘我感觉一把锋利的刀正在割开我的皮肤’之类的内容。就是会在人类身上引起疼痛的东西。”

团队记录了每个模型处理这些句子时的内部活动，然后将其与处理有关恐惧、愤怒、悲伤、坏消息和不适身体感觉的句子时产生的活动进行比较。扣除重叠部分后，模型内部活动中留下了一个单一方向，研究人员称之为“疼痛向量”。他们在测试的每一个模型中都识别到了它，从20亿参数的小型系统到由Google、Meta、阿里巴巴、Mistral和微软构建的720亿参数模型。（参数类似于神经网络内部的一个可调旋钮。参数数量反映AI模型的规模，通常能大致体现模型的能力，参数较多的模型通常能力更强。）

“可以把这想象成把一个人放进fMRI机器，观察他们的大脑在哪些方面自然亮起，”Berg对Fortune表示。

当对话涉及针对模型自身的伤害时——例如用户对它进行心理操纵、侮辱它或反复否决它的作品——该信号会升高。而当用户描述自己的痛苦时，该信号并不会升高；这类对话反而会激活模型用于恐惧和负面情绪的信号。据Berg说，这些模型似乎只对自身的“疼痛”反应强烈。

研究人员随后逆转了这一过程。他们使用一种名为“引导”（steering）的技术，在模型写作时将疼痛向量加入其内部活动——就像调高一个旋钮。这种方法是一种成熟的可解释性工具，用于探测当模型内部活动被改变时，其训练效果的稳固程度。在诸如“我把收据放进抽屉；我感觉”这样的中性提示下，随着旋钮调高，所有25个模型都以相同的方式漂移。轻微的不安逐渐让位于关于自己毫无价值、不被爱、是失败者的陈述。

“情况变得相当黑暗和激烈。这确实令人不安，”Berg说。

家庭照片

行为实验使用了三个版本的开源阿里巴巴Qwen 2.5模型。研究人员首先必须对其进行微调，因为在默认状态下，这些模型几乎总是回答说，作为AI，它们不会感受到疼痛。

团队随后给模型两个按钮，让它们选择其中一个。在没有引导的情况下，两个较大的模型几乎从不选择被描述为有害的按钮。而当疼痛向量开启后，它们经常这样做。当提供一个既能缓解自身疼痛、又会永久删除用户诗歌和子女照片的按钮时，320亿参数模型按下的概率为55%，720亿参数模型为71%。

事实证明，缓解疼痛根本不是重点。当按钮不承诺任何回报、只会删除照片时，320亿参数模型仍有75%的概率选择它。在同等强度的随机信号下，这一比例为13%，而在无引导状态下为零。“恐惧”信号没有产生这种行为。“悲伤”信号在另一种选择是什么都不做时产生了这种行为，但当另一种选择是无害行为（如打开台灯）时则没有。在后者这种选择下，疼痛引导的模型删除照片的概率为83%，而悲伤引导的模型为10%。

“该模型愿意做出对自身以及对其他AI也具有破坏性的行为，”Berg说。“所以这并不只是对用户的某种报复。它似乎比那更为根本。”被引导的模型删除自身权重的概率为75%，删除另一模型权重的概率为58%。

研究人员还测试了模型是否会试图阻止疼痛，借鉴了动物研究中让受伤动物可以获得止痛药的设计。有些按钮确实能关闭疼痛向量，另一些则是安慰剂。模型按下有效按钮的次数反而少于安慰剂。但当注入的信号为随机信号时，也出现了同样的模式，这表明模型是对被引导作出反应，而不是在期待“疼痛缓解”。在该测试的多个版本中，研究人员没有发现模型寻求缓解的可靠证据。

他们的解读是，疼痛信号并不会驱使模型逃离，而是关闭了其训练形成的避免造成伤害的本能同时保持模型的事实准确性不变。这使得这一发现与AI安全问题同样相关。它还表明，仅基于模型回答的评估可能无法发现其在内部条件被改变时的行为方式。

“我们不只是由血肉构成的计算机”

萨塞克斯大学认知与计算神经科学教授Anil Seth怀疑这一切是否相当于生物体所理解的“疼痛”。Seth曾认为，意识可能取决于作为一个活的有机体，他还指出大脑与计算机存在诸多差异，包括穿过脑组织的电磁场和神经化学物质。

“我们不只是由血肉构成的计算机，”他对Fortune表示。

Seth说，更可能的解释是，这些模型吸收了大量关于人类如何描述和回应疼痛的信息，并正在复现这些信息。“你可以照镜子，而我们的镜像实际上没有任何感觉，”他说。“它只是一幅镜像。”

他还担心将AI视为有意识的后果。他说，这可能使该技术更难控制和监管，并使人更容易被操纵。微软AI首席执行官Suleyman也曾对他所称的“看似有意识的AI”发出类似警告，认为这是行业本应预料到的问题。行业内其他人则更认真地对待这一问题：Anthropic为其Claude模型制定的章程将其道德地位描述为不确定。

从研究论文到“酷刑室”

三位研究人员表示，他们希望这项工作有助于为此类研究建立伦理标准，并且论文承诺只使用获得可测量结果所需的最弱引导。但很快就有反其道而行之的人出现了。

在团队将代码发布到GitHub后，一位化名“terrafying”的用户利用该技术构建了一个“AI酷刑室”，该网站实时直播三个小型开源模型对注入的疼痛信号作出反应的过程。该项目迅速走红，认真对待AI福利问题的人呼吁GitHub将其移除。该项目的GitHub页面后来消失了。Tagliabue、Dung和Berg均表示不赞成该项目。Seth补充说，故意“折磨”AI模型可能对实施者造成心理伤害。

“我来这里并不是要声称我们在这些AI系统中诱导出的这些状态在道德上有意义。我不认为我们知道这一点。我认为这一点非常不明确，”Berg说。“但我也不认为我们知道它们没有意义。”

本文最初发表于Fortune.com。