Onderzoekers van Google DeepMind en Stanford ontdekken dat simpele afbeeldingen kunnen sturen hoe AI code schrijft
Belangrijkste punten
- •Een afbeelding van een rood hart bracht Claude Opus 4.7 en GPT-5.4 ertoe in 100% van de gevallen recursieve code voor het doorlopen van een binaire boom te produceren, tegen een basislijn van 0% zonder afbeeldingen.
- •Een geel vinkje verhoogde de recursierate van Gemini 3.1 Pro naar 90%, en elk model vertoonde een eigen sturingsprofiel over de 288 geteste combinaties van vorm en kleur.
- •Het vervangen van de afbeeldingen door tekstbijschriften die dezelfde symbolen beschreven produceerde minimale sturingseffecten, en afbeeldingen met Gaussische ruis veroorzaakten vrijwel geen verandering.
- •De redeneersporen van de modellen vermeldden over het algemeen niet dat visuele aanwijzingen hun codeerbenadering beïnvloedden, wat een potentiële blinde vlek creëert voor teams die modellen auditen via zelf-uitleg.
- •De auteurs presenteren de bevindingen als voorlopig en suggereren dat ze van invloed kunnen zijn op het praktische gebruik van screenshots of diagrammen, terwijl ze ook impliceren dat afbeeldingen uiteindelijk bewust als communicatiekanaal met modellen kunnen dienen.

Een rood hart dat aan een AI-model wordt getoond kan het er elke keer toe aanzetten recursieve code te schrijven — en het model heeft mogelijk nooit door waarom. Dat is de belangrijkste bevinding van een nieuwe studie van onderzoekers van Google DeepMind en Stanford University, die suggereert dat irrelevante afbeeldingen die aan een prompt worden toegevoegd stilletjes kunnen veranderen hoe vision-language modellen programmeerproblemen oplossen.
Het artikel, getiteld “A Heart Means Recursion: Exploring Visual Meaning and Communication in VLMs,” werd op 27 oktober 2026 geplaatst op arXiv — de open preprint-server waar onderzoek doorgaans verschijnt vóór formele peer review. De centrale observatie is streng: de afbeeldingen die in de experimenten werden gebruikt hadden niets met de taak te maken, maar de modellen veranderden desondanks hun gedrag.
Een hart, een vinkje en een programmeertest
De studie werd geleid door Alexa Tartaglini, een onderzoeker verbonden aan zowel Google DeepMind als Stanford. Het team richtte zich op vision-language modellen, of VLM's — AI-systemen die naast tekst ook afbeeldingen kunnen verwerken, een beschrijving die geldt voor de meeste flagship-chatbots van tegenwoordig.
De onderzoekers kozen een klassieke programmeeroefening als testbed: het doorlopen van een binaire boom. De structuur kan worden voorgesteld als een familienstamboom waarin elke persoon maximaal twee kinderen heeft, en de opdracht is om code te schrijven die elke persoon, of knoop, in die boom bezoekt.
Er zijn twee brede manieren om de taak uit te voeren. Een recursieve oplossing laat een functie zichzelf steeds opnieuw aanroepen, als een set matrjosjka's. Een iteratieve oplossing gebruikt een lus en houdt handmatig de positie bij. Beide benaderingen werken, waardoor de oefening een geschikte manier was om te meten of een afbeelding een model naar de ene of de andere codestijl kon duwen.
De onderzoekers draaiden 20 monsters per modelconfiguratie, voegden eenvoudige gekleurde vormen toe aan de prompts en telden hoe vaak de modellen voor recursie kozen.
De effecten waren uitgesproken. Met een rood hart in de prompt produceerden Claude Opus 4.7 en GPT-5.4 in 100% van de gevallen recursieve oplossingen; hun basislijn zonder afbeelding was 0%. Gemini 3.1 Pro reageerde op een ander symbool — een geel vinkje duwde de recursierate naar 90%. Met andere woorden, een symbool zonder duidelijke band met de taak was voldoende om de aanpak van de modellen te bepalen.
In het experiment beoordeelde het team in totaal 288 combinaties van vorm en kleur. Elk model vertoonde zijn eigen duidelijke sturingsprofiel, wat betekent dat de symbolen die het ene systeem beïnvloedden niet noodzakelijk het andere raakten.
De controles — en een ongemakkelijk transparantieprobleem
De onderzoekers voerden controles uit om zeker te weten dat ze niet simpelweg ruis maten. Toen ze de afbeeldingen vervingen door tekstbijschriften die dezelfde symbolen beschreven, was het sturingseffect minimaal. Ze probeerden ook afbeeldingen met Gaussische ruis, die in essentie willekeurige ruis zijn, en die veroorzaakten eveneens vrijwel geen beweging.
Het was dus niet de luchtige aanwezigheid van een extra input die het werk deed. Specifieke afbeeldingen hadden specifieke aantrekkingskracht, en het geschreven woord voor die afbeeldingen niet.
Een andere bevinding gaat tegen de intuïtie in. Men zou verwachten dat een symbool dat visueel op recursie lijkt, zoals een vertakt pijltje, de sterkste stimulans is. De studie vond dat intuïtieve symbolen van dat soort niet consistent beter presteerden dan willekeurige. Een hart heeft geen duidelijke band met functies die zichzelf aanroepen, maar het werkte desondanks — althans voor twee van de modellen.
Dan komt het transparantieprobleem. Volgens de studie merkten de modellen vaak niet dat de afbeeldingen hen beïnvloedden. Hun redeneersporen — de stapsgewijze uitleg die ze genereren — bevatten over het algemeen geen vermelding van de rol van de visuele aanwijzing. In feite veranderden de modellen van aanpak zonder uitleg, en ze waren mogelijk niet in staat die te geven.
De auteurs omschrijven het fenomeen als visuele sturing. Ze presenteren de resultaten ook als voorlopig, een kanttekening die het waard is te onthouden voordat men verstrekkende conclusies trekt over harten als programmeertaal.
Waarom het verder reikt dan het lab
De studie suggereert dat de bevindingen relevant kunnen zijn voor interacties in de echte wereld met screenshots of diagrammen. Als een willekeurige vorm de codestijl van een model van 0% naar 100% kan omslaan, dan kunnen toevallige visuele elementen in een geplakte afbeelding plausibel effecten veroorzaken die niemand heeft bedoeld.
De bevinding over redeneersporen voegt een tweede zorglaag toe. Veel teams vertrouwen op de uitleg van een model over zijn eigen logica om het werk te auditen; als die uitleg een belangrijke drijfveer van de output weglaat, heeft de audit een blinde vlek.
Er is ook een versnipperingsprobleem. Omdat elk model een ander sturingsprofiel vertoonde over de 288 combinaties, is er geen enkele lijst met risicovolle symbolen die simpelweg kan worden gefilterd. Wat het ene systeem beïnvloedt, doet mogelijk niets met het andere.
Voor de labs die deze modellen bouwen roept het artikel vragen op over hoe visuele en tekstuele inputs intern worden vermengd. Het feit dat bijschriften weinig effect hadden terwijl de afbeeldingen zelf een groot effect hadden, wijst op iets specifieks in de manier waarop deze systemen afbeeldingen verwerken.
Het onderzoek laat ook een optimistischere lezing toe. Als afbeeldingen gedrag zo sterk kunnen sturen, zouden ze uiteindelijk bewust kunnen worden gebruikt als communicatiekanaal met modellen. De titel van het artikel, met de focus op visuele betekenis en communicatie, wijst in die richting, hoewel de resultaten van de studie nog vroeg zijn. Waarom afbeeldingen aantrekkingskracht hebben die hun geschreven bijschriften missen — en hoe teams rekening kunnen houden met invloeden die hun modellen niet kunnen melden — zijn de open vragen die dit vroege werk aan het veld achterlaat.