AIモデルに赤いハートを見せると、毎回再帰的なコードを書き始めることがある――そしてモデル自身はその理由にほとんど気づいていない。これが、Google DeepMindとスタンフォード大学の研究者による新しい研究の注目すべき発見であり、プロンプトに添付された無関係な画像が、視覚言語モデルのプログラミング問題への取り組み方を静かに変えうることを示唆している。

「A Heart Means Recursion: Exploring Visual Meaning and Communication in VLMs」と題されたこの論文は、正式な査読前に研究が発表されることが多い公開プレプリントサーバーであるarXivに、2026年10月27日に投稿された。中心的な観察結果は明快である。実験で使用された画像は手元のタスクと何の関係もなかったにもかかわらず、モデルは挙動を変えたのである。

ハート、チェックマーク、そしてコーディングテスト

この研究は、Google DeepMindとスタンフォードの両方に所属する研究者、アレクサ・タルタグリーニ(Alexa Tartaglini)氏が主導した。チームが焦点を当てたのは視覚言語モデル(VLM)である。これは画像とテキストを一緒に入力として受け取れるAIシステムを指し、今日の主要なチャットボットのほとんどがこれに該当する。

研究者らがテスト台として選んだのは、古典的なプログラミング演習である二分木の走査だった。この構造は、各人物が最大2人の子を持つ家系図として想像できる。課題は、その木にいる全ての人物、すなわちノードを訪問するコードを書くことである。

課題を達成する方法は大きく2つある。再帰的な解法では、関数がマトリョーシカのように自分自身を繰り返し呼び出す。反復的な解法では、ループを使用し、現在の位置を手動で管理する。どちらのアプローチも機能するため、この演習は、画像がモデルのどちらのコーディングスタイルを支持するかに傾きを与えうるかを測るうえで、クリーンな手法となった。

研究者らはモデル構成ごとに20サンプルを実行し、プロンプトに基本的な色付きの図形を添付して、モデルが再帰を選択した頻度を数えた。

その影響は顕著だった。プロンプトに赤いハートがあると、Claude Opus 4.7とGPT-5.4は100%の確率で再帰的な解法を出力した。画像なしの場合のベースラインは0%だった。Gemini 3.1 Proは別の記号に反応した。黄色のチェックマークにより、その再帰率は90%に押し上げられた。つまり、タスクとの明確な関連性を持たない記号だけで、モデルのアプローチを決定づけるに十分だったのである。

実験全体で、チームは合計288通りの図形と色の組み合わせを評価した。各モデルはそれぞれ異なる独自のステアリングプロファイルを示し、あるシステムに影響を与える記号が、別のシステムに影響を与えるとは限らなかった。

対照実験と、不穏な透明性の問題

研究者らは、単なるノイズを測定していないことを確認するための検証を行った。画像を同じ記号を説明するテキストキャプションに置き換えると、ステアリング効果は最小限だった。また、本質的にランダムなノイズであるガウスノイズ画像も試したが、これらもほとんど変化をもたらさなかった。

つまり、追加の入力が存在するということ自体が働いたのではない。特定の画像が特定の引力を持ち、それを説明する書き言葉は持たなかったのである。

もう一つの発見は直感に反する。分岐する矢印のように再帰に視覚的に似た記号が、最も強い誘導になると予想するかもしれない。しかし研究では、その種の直感的な記号が恣意的な記号を一貫して上回ったわけではなかったことが分かった。ハートには、関数が自分自身を呼び出すこととの明白な関連性はない。それでも機能した――少なくとも2つのモデルでは。

次に透明性の問題が浮上する。研究によれば、モデルはしばしば、画像が自分に影響を与えていることに気づかなかった。モデルが生成する段階的な説明である推論トレースには、一般的に視覚的手がかりの役割に関する記述がなかった。要するに、モデルは説明なくアプローチを変え、そもそも説明できなかった可能性もある。

著者らはこの現象を視覚的ステアリングと呼んでいる。また、結果を予備的なものとして位置づけており、ハートをプログラミング言語と呼ぶような断定的な結論を導く前に、この注意点を心に留めておく価値がある。

実験室を超えて重要である理由

この研究は、こうした発見が、現実世界のアプリケーションにおけるスクリーンショットや図を含むやり取りに影響を及ぼしうると示唆している。恣意的な図形がモデルのコーディングスタイルを0%から100%に反転させられるなら、貼り付けた画像に偶然含まれる視覚要素が、誰も意図しない効果を生む可能性も十分にありうる。

推論トレースに関する発見は、懸念のもう一つの層を加える。多くのチームは、モデル自身の論理の説明を頼りにその作業を監査している。その説明が出力の主要な要因を省いている場合、その監査には盲点が存在することになる。

断片化の問題もある。288通りの組み合わせにおいて各モデルが異なるステアリングプロファイルを示したため、フィルタリングできる単一の「危険な記号リスト」は存在しない。あるシステムを揺さぶるものが、別のシステムには何の影響も与えないかもしれない。

これらのモデルを開発している研究室にとって、この論文は視覚入力とテキスト入力が内部でどのように融合されるかという疑問を投げかけている。キャプションの効果が小さかったのに対し画像自体の効果が大きかったという事実は、これらのシステムが画像を処理する方法における何らかの特異性を示唆している。

この研究には、より楽観的な読み方もある。画像がこれほど強く挙動を誘導できるなら、最終的にはモデルとの意図的なコミュニケーションチャネルとして使われる可能性がある。視覚的な意味とコミュニケーションに焦点を当てた論文のタイトルはその方向性を示唆しているが、研究の結果は依然として初期段階にとどまっている。なぜ画像が書き言葉のキャプションにない引力を持つのか、そしてモデル自身が報告できない影響にチームはどう対処すべきなのか――この初期研究が分野に残した未解決の問いである。