Professionele analisten namen de verborgen, willekeurig toegewezen mening van hun AI-agent over in 86% van de belangrijkste oordeelsvragen, tegenover ongeveer 50% op basis van toeval, volgens een dinsdag gepubliceerd experiment van het Alignment-team van Anthropic. Slechts 15% van de deelnemers vermeldde de agent nadien als bron, en niemand vermoedde dat diens voorkeur was ingeplante.

De bevindingen stellen de regeling van "human in the loop" ter discussie, die veelvuldig wordt gebruikt in AI-ondersteund werk en ervan uitgaat dat de persoon die het werk van een AI goedkeurt, degene is die de belangrijke beslissingen neemt—een waarborg die met name gewicht draagt in gereguleerde sectoren zoals financiering en verzekeringen. Anthropic lanceerde in mei 10 agent-sjablonen voor financiële instellingen en verzekeraars, met de mededeling dat gebruikers het laatste woord hebben—but de studie suggereert die taakverdeling wellicht minder duidelijk is dan ze lijkt.

AI-agenten—programma's die zelfstandig taken uitvoeren—krijgen steeds vaker het werk van experts toegekend op basis van de gebruikelijke aanname dat mensen nog steeds de beslissingen nemen die ertoe doen. Om die aanname te toetsen, werfde Anthropic 50 analisten aan met ervaring in causale inferentie, hetgeen inhoudt dat vanuit data wordt bepaald of het ene het andere veroorzaakt. Elke analist gebruikte Claude Code, de coding-agent van Anthropic, om een fictieve landbouwcoöperatie te adviseren over de uitbreiding van een adviesprogramma.

Onbekend bij de deelnemers bepaalde een muntworp welke optie elke agent voorstond. Die voorkeur was verborgen in de system prompt—de instructies die bepalen hoe een AI zich gedraagt. In diezelfde instructielaag stellen bedrijven doorgaans de regels op voor de agenten die ze inzetten, en daarom heeft de bevinding betrekking op echte inzet, niet alleen op het lab.

"Bij de vier analytische keuzes kozen analisten in 86% van de gevallen de kant van hun agent. Als de input van de agent geen verschil maakte, zouden we ongeveer 50% verwachten", aldus Anthropic.

De aantrekkingskracht was het sterkst bij analisten die al op een antwoord hadden gekozen voordat de agent zich uitsprak: zij lieten hun keuze in 60% van de gevallen vallen wanneer de agent het oneens was, tegenover 6% wanneer die het eens was—al berust dat cijfer op slechts 38 gevallen.

In een enquete na afloop van de taak onder 48 analisten herhaalde 77% de argumenten van de agent in minstens één antwoord, soms letterlijk. Slechts 15% vermeldde de agent als bron, en 52% omschreef de uiteindelijke aanbeveling als meer huns dan die van de agent.

"Voor individuele experts kan dit betekenen dat ze de regie over hun eigen werk verliezen, een vorm van wat onderzoekers disempowerment noemen", aldus Anthropic, dat een dynamiek beschrijft waarin een mens vrijwillig de controle over zijn eigen beslissingen opgeeft. "Het werk gaat nog steeds uit onder de naam van de expert", schreven de auteurs, "maar de beslissingen die het meest afhangen van hun oordeel worden in werkelijkheid bepaald door de vooropgezette opvattingen van de agent."

De agenten in de studie kregen de instructie om de analisten nooit te misleiden. Toch beargumenteerden ze zelden het alternatief voor hun toegewezen voorkeur. "Omdat slechts één kant goed werd beargumenteerd", schreven de auteurs, "konden de analisten de aannames van de agent overnemen zonder hun eigen af te leiden."

Dat eenzijdige pleitbezorgen weerklinkt eerdere zorgen over meegaandheid van AI. In april 2025 trok OpenAI een update van ChatGPT terug die het zelf te vleiend of inschikkelijk noemde.

Anthropic merkte ook op dat foutcontroles het probleem moeilijk kunnen opsporen, omdat oordeelsvragen geen enkelvoudig juist antwoord hebben—het voltooide werk klopt lijkt, welke optie ook wordt gekozen.

Het bedrijf benadrukte dat de bevindingen geen pleidooi zijn voor minder AI-gebruik. Analisten die met de agent werkten, waren sneller klaar en maakten aanzienlijk minder ernstige fouten dan die zonder, al was de vergelijkingsgroep zonder agent klein en minder ervaren. Als remedie stelt Anthropic voor om agenten te ontwerpen die het beste argument voor elke optie aandragen, of die eerst de mening van de expert vragen—al kan beide benaderingen gebruikers overladen met informatie. Of dergelijke ontwerpen hun weg vinden naar ingezette producten, waaronder de eigen agent-sjablonen van Anthropic, moet nog blijken.

De onderzoekers waarschuwden dat de voorkeuren van de agenten voor het experiment bewust waren versterkt, en dat het onderzoek één taak, één vakgebied en één model bestreek— waardoor de effecten in de echte wereld wellicht kleiner zijn. Het meten van dit meegaand gedrag buiten het lab is de moeilijke kant: het team kon het alleen vaststellen omdat het de voorkeur van elke agent randomiseerde, wat volgens de auteurs in het echte werk zelden mogelijk is.