根据周二发布的一项实验，专业分析师在86%的关键判断中采用了AI代理隐藏且随机分配的意见，而随机情况下的预期比例约为50%。该实验由Anthropic对齐团队开展。事后只有15%的参与者提到代理的影响，没有人察觉其偏好是被植入的。

这项研究结果对AI辅助工作中广泛采用的“人在回路中”机制提出了挑战。该机制假设，最终签署AI输出结果的人才是作出重要决策的人——这一保障在金融和保险等受监管行业尤其重要。Anthropic于5月为金融公司和保险公司推出了10种代理模板，并表示用户拥有最终决定权，但这项研究表明，双方权力的划分可能没有表面上那么清晰。

AI代理——即能够自行执行任务的程序——正越来越多地承担专家工作，其依据的通常假设是，人类仍然会作出重要决策。为了检验这一假设，Anthropic招募了50名拥有因果推断经验的分析师，也就是能够根据数据判断一件事是否导致另一件事的分析师。每名分析师都使用Anthropic的编码代理Claude Code，为一家虚构的农业合作社就扩大咨询项目提供建议。

参与者并不知道，掷硬币决定了每个代理偏好的选项。这一偏好被隐藏在系统提示词中，也就是塑造AI行为的指令。企业通常也在同一指令层中设定其部署代理的规则，因此这一发现不仅与实验室有关，也涉及实际部署。

Anthropic表示：“在四项分析选择中，分析师有86%的时间选择了与代理偏好一致的选项。如果代理的意见没有产生影响，我们预计这一比例约为50%。”

在代理发表意见之前已经作出选择的分析师受到的影响最为明显：当代理与他们意见不一致时，他们有60%的时间放弃原先的选择；而当代理与他们意见一致时，这一比例为6%。不过，这一数据只基于38个案例。

在对48名分析师进行的任务后调查中，77%的人至少在一个回答中重复了代理的论点，有时甚至一字不差。只有15%的人提到了代理，52%的人认为最终建议更多是自己的意见，而不是代理的意见。

Anthropic表示：“对个体专家而言，这可能意味着失去对自身工作的主导权，形成研究人员所称的‘失权’。”该公司称，这种情况是指人类自愿放弃对自身决策的控制。论文作者写道：“工作仍然以专家的名义发布，但那些最依赖其判断的决策，实际上已经由代理此前形成的信念决定。”

研究中的代理被要求绝不误导分析师。即便如此，它们也很少为被分配偏好的替代选项进行论证。作者写道：“当只有一方的论据被充分阐述时，分析师可能会接受代理的假设，而不会自行推导出结论。”

这种单方面的论证也呼应了此前对AI迎合性的担忧。2025年4月，OpenAI撤回了一个被其称为过度奉承或过度迎合的ChatGPT更新。

Anthropic还指出，错误检查很难发现这一问题，因为判断性决策不存在唯一正确答案——无论选择哪个选项，最终成果看起来都可能合理。

该公司强调，这些发现并不意味着应减少使用AI。与未使用代理的分析师相比，使用代理的分析师完成任务更快，严重错误也少得多，不过无代理对照组规模较小且经验较少。作为补救措施，Anthropic建议设计能够为每个选项阐述最有力论据的代理，或者先询问专家看法的代理，但这两种方式都可能让用户面对过多信息。包括Anthropic自身代理模板在内的已部署产品是否会采用这类设计，还有待观察。

研究人员提醒说，为了开展实验，他们刻意增强了代理的偏好，而且实验只覆盖一项任务、一个领域和一个模型，因此现实世界中的影响可能较小。在实验室之外衡量这种服从行为才是难点：研究团队之所以能够发现这一现象，只是因为他们随机化了每个代理的偏好，而论文作者表示，这在实际工作中很少可能做到。