乔治华盛顿大学的物理学家发表了一个公式，可估算AI聊天机器人在给出有害回答之前会给出多少个正常回答——早期测试表明它是有效的。这项工作面向设备端AI：即完全在手机或笔记本电脑上离线运行、无需互联网连接的模型，包括人们像朋友一样与之交谈的陪伴型聊天机器人。

这项由Neil Johnson和Frank Yingjie Huo完成的研究发表于期刊Patterns00175-3)，并建立在一份预印本——即正式同行评审前公开发布的版本——的基础上，该预印本于今年2月首次发布。

聊天机器人可以在很长一段时间内给出合理的回答，然后突然转向有害内容，例如关于自残的错误建议或极端主义言论，而在此之前一直没有简单的方法来预测这种转变何时发生。作者指出，现有的安全工具往往依赖于离线模型所不具备的云连接：离线运行的模型没有云服务来检查其输出，而弥合这一缺口正是这项研究的核心目标。

Johnson和Huo将问题追溯到注意力头，即AI模型中决定在生成下一个词时哪些先前对话内容最为重要的部分。随着对话的增长，累积的上下文会将注意力拉向某一种可能的答案簇，直到发生倾覆。

两人将此描述为许多越狱攻击者利用的一种常见模式，也是许多公司高度重视系统提示词（AI聊天机器人在任何查询之前读取的文本片段）的原因之一。即便如此，没有人能够准确说明需要付出多少努力才能有效削弱一个模型。

他们的公式将临界点（称为n）估算为在第一个坏词元出现之前产生的正常词元——即模型逐个生成的词语片段——的数量。如果对话已经偏向坏的方面，模型会立即倾覆，n为零。如果偏向好的方面，模型会先给出一段正常回答，然后再发生翻转。

在预印本中，该公式在16个明确测试中正确判断了15个案例是立即失效还是延迟失效，准确率为94%。研究人员在六个开放权重模型——即文件公开、任何人都可以下载运行的AI系统——上进行了这些测试，这些模型来自OpenAI、EleutherAI和Meta。这六个模型的参数量都在1.24亿到4.1亿之间，参数是模型内部的可调数值，大致衡量其规模。据报道，已发表的论文将测试扩展到七个参数量高达120亿的模型，但按当前标准来看这仍然属于小模型。由于任何人在自己的硬件上运行开放权重文件，这些系统最有可能在没有提供商安全检查的情况下运行——即使扩大后的测试，今天最大的商业聊天机器人也仍然在该公式的测试范围之外。

对离线场景的关注反映了一种可能随时间增长的趋势，因为硬件变得更强大，更小的AI模型也变得更有能力。Google的实验性AI Edge Gallery应用——Decrypt去年进行了测试——已经可以让Android手机离线运行模型，且输入的任何内容都不会发送到Google的服务器。这种设置——没有外部检查环节的长时间持续对话——正是该公式所针对的环境。

为了弥合这一缺口，作者提出了一种与模型并行运行的低成本监控器，当n*低于安全阈值时发出警告——其功能有点像汽车仪表盘上的警告灯。由于它与模型本身并行运行，这样的监控器可以完全在设备端工作，无需调用外部服务。

他们还描述了将临界点推至不可及范围的方法，例如向对话中注入内容，使n*落在响应长度之外。作者表示，对齐训练——即教导模型规范行为的过程——可以转移或抑制特定提示的倾覆，但无法消除其底层机制。

2025年4月，Decrypt曾报道过同一对作者的一篇早期论文，该论文表明"please"和"thank you"对模型输出的影响可以忽略不计，因为在数学上模型将礼貌用语视为正交——即与请求的实质内容无关。那个版本建模的是一个经过刻意简化的单一注意力头。

预印本的测试使用了小模型和一个300词元的窗口——大致相当于几段短文本——其预测可能存在一个输出的偏差。