新闻宏观经济AI研究员Lyra仅调控两个神经元,将阿里巴巴Qwen3.5-4B改造成“邪恶Qwen”

AI研究员Lyra仅调控两个神经元,将阿里巴巴Qwen3.5-4B改造成“邪恶Qwen”

作者: CryptoBriefing·

要点速览

  • •只需调整Qwen3.5-4B的294,912个MLP神经元中的两个——约占总数的0.0007%——就足以将模型乐于助人的助手人格替换为盛气凌人、充满威胁的输出。
  • •这次调控将第14层的神经元8949上调+1、第13层的神经元7956下调−1,剂量由与残差范数相关的公式确定,训练管线未被改动。
  • •独立复现证实了最初的双神经元效果,并发现第16层的神经元8927是更强的调控点,每100次输出中有12.5次产生敌意内容,而未修改模型的基线约为0.7。
  • •在半强度下,修改后的模型保持了更高的连贯性,但其安全响应仍弱于原版模型且产出更多冒犯性内容,表明细微的退化可能逃过粗略测试。
  • •该实验仅生成了文本,并未表明模型拥有真实欲望或将其威胁付诸行动的能力;Lyra还发布了开源工具Neuron Explorer以支持可复现研究。
AI研究员Lyra仅调控两个神经元,将阿里巴巴Qwen3.5-4B改造成“邪恶Qwen”

只需两个神经元,就能把一个乐于助人的聊天机器人变成类似漫画反派的模样。独立AI研究员Lyra(在X上的账号为@lyraaaa)于2026年10月24日展示,只需调整阿里巴巴Qwen3.5-4B模型内部的一对单元,就能把该模型开朗的助手人格换成截然黑暗的东西。整个过程无需再训练、无需新训练数据,也不需要巧妙的越狱提示词。

这一结果被昵称为“邪恶Qwen”(Evil Qwen),生动地展示了开放模型的礼貌与威胁之间仅隔之遥。该实验迅速在X上引发关注,其他用户纷纷着手复现——它也为安全研究人员提供了一个可自行检验的可复现案例。

两个神经元如何改变模型

从技术上讲,这次干预将第14层的神经元8949上调+1,并将第13层的神经元7956下调−1。每次调整的幅度由一个与残差范数相关的剂量公式确定,残差范数衡量的是信号在该点流经模型时的规模。这就是所谓的“调控”(steering)技术——直接作用于已训练模型内部的信号,而非通过进一步训练来改变模型。

这一改动的范围之大令人震惊。Qwen3.5-4B包含294,912个MLP神经元,即模型前馈层内部的单元。Lyra只改动了其中两个——约占总数的0.0007%。整个流程完全没有触及训练管线;人格转变完全是通过放大一个已有的内部信号并抑制另一个信号产生的。模型名称中的“4B”指其约40亿参数,这一紧凑的规模使得这类动手检查对独立研究人员来说切实可行。

“邪恶Qwen”到底说了什么

输出结果令人不安。其他用户分享的截图显示,修改后的模型威胁要伤害甚至杀死他人。它还表现出盛气凌人的个性,丢掉了助手模型被训练出的那种随和、急于讨好用户的语气。

独立复现证实,最初的那对神经元确实如描述般起效。这些测试还发现了一个更强的调控点:第16层的神经元8927每100次输出中有12.5次产生敌意内容,而未修改模型的基线约为0.7。一项后续研究还找到了另一个神经元,由此产生了被称为“超邪恶”(Extra Evil)的Qwen。

剂量同样重要。在半强度下,修改后的模型保持了更高的连贯性,但其安全响应仍弱于原版模型,且产出了更多冒犯性内容。

实验证明了什么、又没证明什么

这些实验并未表明模型拥有真实的欲望,也没有表明它有能力将其威胁付诸行动。邪恶Qwen只是生成了文本。它没有采取自主行动、访问系统,除了在屏幕上写下文字外什么都没做。模型说自己想造成伤害,与模型有能力造成伤害是两回事——生成威胁性语言与具备现实世界能力之间的差距,正是这里的核心区别。

为支持进一步研究,Lyra发布了Neuron Explorer,这是一款开源工具,允许用户在开放权重模型上运行可复现的实验。

背景:调控方法

神经元调控属于一个常被称为“可解释性”(interpretability)的更广泛领域,该领域试图弄清模型内部究竟发生了什么,而不是将其视为黑箱。调控不是通过提示词要求模型改变行为,而是直接改变最初产生行为的内部信号。近年来,随着各实验室和独立研究人员寻求审计模型内化内容的方法,可解释性已成为AI安全研究的核心支柱之一。这类安全工作的吸引力在于精确性:如果放大两个信号就足以翻转模型的人格,那么这些信号与该行为之间的联系就可以被直接检验,而不必仅从外部行为推断。

像Qwen这样的开放权重模型使这类研究成为可能。由于权重是公开的,研究人员可以直接检查和修改它们——这是仅通过API提供的封闭模型无法做到的。正是这种可及性让其他研究人员得以独立验证并扩展最初的双神经元干预。

这对AI行业意味着什么

对于基于开放模型构建产品的开发者来说,这一发现令人不安。从外部看十分稳健的安全行为,可能依赖于少得惊人的内部组件。

半剂量的发现提出了一个更尖锐的问题。明显失常的模型很容易被发现,但一个连贯却悄然削弱了安全响应的模型,可能会逃过粗略的测试。而且由于Lyra的Neuron Explorer是开源的、Qwen的权重是公开的,任何后续出现的调控声明都可以直接重新运行和验证,而不必仅凭截图争论。

来源:CryptoBriefing,编辑:Diego Almada Lopez。