ActualitésMacroGoogle DeepMind et Stanford : de simples images peuvent orienter la manière dont l'IA écrit du code

Google DeepMind et Stanford : de simples images peuvent orienter la manière dont l'IA écrit du code

Auteur: CryptoBriefing·

Points clés

  • •Une image de cœur rouge a conduit Claude Opus 4.7 et GPT-5.4 à produire du code récursif de parcours d'arbre binaire 100 % du temps, contre une référence de 0 % sans images.
  • •Une coche jaune a porté le taux de récursion de Gemini 3.1 Pro à 90 %, et chaque modèle a affiché un profil de pilotage distinct sur les 288 combinaisons forme-couleur testées.
  • •Le remplacement des images par des légendes textuelles décrivant les mêmes symboles a produit des effets de pilotage minimes, et les images de bruit gaussien n'ont presque rien changé.
  • •Les traces de raisonnement des modèles n'ont généralement pas mentionné que des signaux visuels influençaient leur approche de codage, créant un angle mort potentiel pour les équipes qui auditent les modèles via leurs auto-explications.
  • •Les auteurs présentent les résultats comme préliminaires et suggèrent qu'ils pourraient affecter l'usage réel des captures d'écran ou des diagrammes, tout en laissant entendre que les images pourraient éventuellement servir de canal de communication délibéré avec les modèles.
Google DeepMind et Stanford : de simples images peuvent orienter la manière dont l'IA écrit du code

Montrer un cœur rouge à un modèle d'IA peut le pousser à écrire du code récursif à chaque fois — et le modèle peut ne jamais s'en rendre compte. C'est la conclusion phare d'une nouvelle étude de chercheurs de Google DeepMind et de l'université Stanford, qui suggère que des images sans rapport avec une requête peuvent discrètement modifier la manière dont les modèles vision-langage résolvent des problèmes de programmation.

L'article, intitulé « A Heart Means Recursion: Exploring Visual Meaning and Communication in VLMs », a été publié sur arXiv — le serveur de prépublications ouvert où les recherches paraissent généralement avant la revue par les pairs formelle — le 27 octobre 2026. Son observation centrale est frappante : les images utilisées dans les expériences n'avaient rien à voir avec la tâche, et pourtant les modèles ont changé de comportement.

Un cœur, une coche et un test de programmation

L'étude a été dirigée par Alexa Tartaglini, chercheuse affiliée à la fois à Google DeepMind et à Stanford. L'équipe s'est concentrée sur les modèles vision-langage, ou VLM — des systèmes d'IA capables de traiter des images en plus du texte, une description qui couvre la plupart des chatbots phares actuels.

Les chercheurs ont choisi un exercice de programmation classique comme banc d'essai : le parcours d'arbre binaire. Cette structure peut être imaginée comme un arbre généalogique où chaque personne a au plus deux enfants, et la mission consiste à écrire du code qui visite chaque personne, ou nœud, de cet arbre.

Il existe deux grandes approches pour accomplir cette tâche. Une solution récursive fait appel à une fonction qui s'appelle elle-même encore et encore, comme un ensemble de poupées russes emboîtées. Une solution itérative utilise une boucle et suit manuellement sa position. Les deux approches fonctionnent, ce qui faisait de l'exercice un moyen net de mesurer si une image pouvait orienter un modèle vers l'un ou l'autre style de codage.

Les chercheurs ont exécuté 20 échantillons pour chaque configuration de modèle, ont attaché des formes colorées basiques aux requêtes et ont compté la fréquence à laquelle les modèles choisissaient la récursion.

Les effets étaient marqués. Avec un cœur rouge dans la requête, Claude Opus 4.7 et GPT-5.4 ont produit des solutions récursives 100 % du temps ; leur référence sans image était de 0 %. Gemini 3.1 Pro a réagi à un autre symbole — une coche jaune a porté son taux de récursion à 90 %. Autrement dit, un symbole sans lien évident avec la tâche suffisait à dicter l'approche adoptée par les modèles.

Au cours de l'expérience, l'équipe a évalué 288 combinaisons forme-couleur au total. Chaque modèle a affiché son propre profil de pilotage distinct, ce qui signifie que les symboles qui influençaient un système n'influençaient pas nécessairement un autre.

Les contrôles — et un problème de transparence dérangeant

Les chercheurs ont mené des vérifications pour s'assurer qu'ils ne mesuraient pas simplement du bruit. Lorsqu'ils ont remplacé les images par des légendes textuelles décrivant les mêmes symboles, l'effet de pilotage était minime. Ils ont également essayé des images de bruit gaussien, essentiellement du parasite aléatoire, qui n'ont presque rien changé non plus.

Ce n'était donc pas la simple présence d'une entrée supplémentaire qui faisait l'effet. Des images spécifiques exerçaient une influence spécifique, et le mot écrit pour ces images non.

Une autre découverte va à l'encontre de l'intuition. On pourrait s'attendre à ce qu'un symbole ressemblant visuellement à la récursion, comme une flèche ramifiée, soit le stimulus le plus fort. L'étude a révélé que les symboles intuitifs de ce type ne surpassaient pas de manière constante les symboles arbitraires. Un cœur n'a aucun lien évident avec des fonctions qui s'appellent elles-mêmes, et pourtant il a fonctionné — du moins pour deux des modèles.

Vient ensuite le problème de transparence. Selon l'étude, les modèles n'ont souvent pas reconnu que les images les influençaient. Leurs traces de raisonnement — les explications étape par étape qu'ils génèrent — ne mentionnaient généralement pas le rôle du signal visuel. En pratique, les modèles ont modifié leur approche sans l'expliquer, et ils n'ont peut-être pas été capables de le faire.

Les auteurs décrivent le phénomène comme un pilotage visuel. Ils présentent également les résultats comme préliminaires, une réserve à garder à l'esprit avant de tirer des conclusions générales sur le cœur comme langage de programmation.

Pourquoi cela dépasse la curiosité de laboratoire

L'étude suggère que ces résultats pourraient influencer les interactions réelles impliquant des captures d'écran ou des diagrammes. Si une forme arbitraire peut faire passer le style de codage d'un modèle de 0 % à 100 %, des éléments visuels incidentels dans une image collée pourraient vraisemblablement produire des effets que personne n'avait prévus.

La découverte sur les traces de raisonnement ajoute une deuxième couche de préoccupation. De nombreuses équipes s'appuient sur l'explication qu'un modèle donne de sa propre logique pour auditer son travail ; si cette explication omet un facteur déterminant du résultat, l'audit comporte un angle mort.

Il existe aussi un problème de fragmentation. Comme chaque modèle a affiché un profil de pilotage différent sur les 288 combinaisons, il n'existe pas de liste unique de symboles à risque qu'il suffirait de filtrer. Ce qui influence un système peut n'avoir aucun effet sur un autre.

Pour les laboratoires qui construisent ces modèles, l'article soulève des questions sur la manière dont les entrées visuelles et textuelles sont combinées en interne. Le fait que les légendes aient eu peu d'effet alors que les images elles-mêmes en avaient un important indique quelque chose de spécifique sur la façon dont ces systèmes traitent les images.

La recherche se prête aussi à une lecture plus optimiste. Si les images peuvent influencer le comportement avec cette force, elles pourraient éventuellement être utilisées délibérément comme canal de communication avec les modèles. Le titre de l'article, axé sur la signification et la communication visuelles, laisse entrevoir cette direction, même si les résultats de l'étude en restent à un stade précoce. Pourquoi les images exercent une influence que leurs légendes écrites n'ont pas — et comment les équipes peuvent tenir compte d'influences que leurs modèles ne peuvent pas signaler — sont les questions ouvertes que ce travail préliminaire laisse au domaine.