Google DeepMind与斯坦福研究发现:简单图像可引导AI编写代码的方式
要点速览
- •一张红色爱心图像使Claude Opus 4.7和GPT-5.4在100%的情况下生成递归的二叉树遍历代码,而没有图像时的基线为0%。
- •一个黄色对勾将Gemini 3.1 Pro的递归率推高至90%,且每个模型在测试的288种形状-颜色组合中展现出各自独特的引导画像。
- •用描述相同符号的文字说明替换图像后,引导效果微乎其微,高斯噪声图像也几乎没有引起变化。
- •模型的推理痕迹通常未提及视觉线索影响了其编码方式,这对依靠模型自我解释进行审计的团队构成了潜在盲点。
- •作者强调这些发现属于初步结果,并指出它们可能影响截屏或图表的现实使用,同时暗示图像最终或许可作为与模型沟通的刻意渠道。

向AI模型展示一颗红色爱心,就可能让它每一次都编写递归代码——而模型本身可能完全意识不到原因。这是Google DeepMind与斯坦福大学研究人员一项新研究的核心发现,该研究表明,附加在提示中的无关图片可以悄无声息地改变视觉语言模型解决编程问题的方式。
这篇题为《A Heart Means Recursion: Exploring Visual Meaning and Communication in VLMs》的论文于2026年10月27日发布至arXiv——一个研究成果通常在正式同行评审之前发布 therein 的开放预印本平台。其核心观察结果十分鲜明:实验中使用的图片与手头任务毫无关联,但模型仍然改变了自身行为。
爱心、对勾与一项编程测试
该研究由Alexa Tartaglini主导,她同时隶属于Google DeepMind和斯坦福大学。团队聚焦于视觉语言模型(VLM),即能够同时接收图像和文本的AI系统——这一定义涵盖了当今大多数旗舰聊天机器人。
研究人员选择了一项经典编程练习作为测试载体:二叉树遍历。该结构可以想象成一棵家谱树,其中每个人最多有两个孩子,任务是编写代码访问树中的每一个人(即节点)。
完成这项任务有两大类方法。递归解法让函数反复调用自身,就像一组俄罗斯套娃;迭代解法则使用循环并手动记录当前位置。两种方法都可行,这使得该练习成为衡量一张图片能否促使模型偏向某一种编码风格的理想方式。
研究人员为每种模型配置运行了20个样本,在提示中附加基本彩色形状,并统计模型选择递归的频率。
效果十分显著。当提示中出现红色爱心时,Claude Opus 4.7和GPT-5.4在100%的情况下生成了递归解法;而它们在没有图像时的基线为0%。Gemini 3.1 Pro则对不同的符号有反应——一个黄色对勾将其递归率推高至90%。换言之,一个与任务毫无明显关联的符号,就足以决定模型所采用的解题方式。
在整个实验中,团队共评估了288种形状与颜色的组合。每个模型都展现出各自独特的引导画像,也就是说,影响某个系统的符号未必会影响另一个系统。
对照实验——以及一个令人不安的透明度问题
研究人员进行了多项检查,以确保他们测量的不只是噪声。当他们将图像替换为描述相同符号的文字说明时,引导效果微乎其微。他们还尝试了高斯噪声图像(本质上是随机静态噪点),这些图像几乎没有产生任何变化。
因此,起作用的并非额外输入的存在本身。特定的图片具有特定的牵引力,而这些图片的文字描述却没有。
另一个发现与直觉相悖。人们可能期望一个在视觉上类似递归的符号(例如分支箭头)会产生最强的推动作用。研究发现,这类直观符号并未始终优于任意符号。爱心与函数自我调用之间没有任何明显联系,但它仍然奏效——至少对其中两个模型而言如此。
接下来是透明度问题。根据该研究,模型往往未能意识到图像正在影响自己。它们的推理痕迹——即它们逐步生成的解释——通常完全没有提及视觉线索的作用。实际上,模型在没有任何解释的情况下改变了自身方法,而且它们可能根本无法提供解释。
作者将这一现象称为视觉引导。他们还强调这些结果属于初步发现,在有人贸然宣称爱心是一种编程语言之前,这一提醒值得铭记。
为什么这超越了实验室好奇心的范畴
该研究指出,这些发现可能影响涉及截屏或图表的现实应用交互。如果一个任意形状就能将模型的编码风格从0%翻转至100%,那么粘贴图像中的偶然视觉元素完全可能产生无人预期的效果。
关于推理痕迹的发现又增加了一层担忧。许多团队依赖模型对自身逻辑的解释来审计其工作;如果这种解释遗漏了输出的主要驱动因素,审计就会存在盲点。
还存在一个碎片化问题。由于每个模型在这288种组合中展现出不同的引导画像,并不存在一份可以简单过滤的风险符号清单。能影响一个系统的东西可能对另一个系统毫无作用。
对于构建这些模型的实验室而言,这篇论文提出了视觉输入与文本输入如何在内部融合的问题。文字说明几乎无效而图像本身效果显著这一事实,表明这些系统在处理图片的方式上有其特殊性。
这项研究也有更为乐观的解读。如果图像能如此强烈地引导行为,它们最终或许可以被有意用作与模型沟通的渠道。论文标题对视觉意义与交流的关注暗示了这一方向,尽管研究结果仍处于早期阶段。为什么图像具有其文字说明所缺乏的牵引力,以及团队如何应对模型自身无法报告的影响,是这项早期研究留给该领域的未解问题。