Des analystes professionnels ont adopté l'opinion cachée, attribuée aléatoirement par tirage au sort, de leur agent IA dans 86 % des jugements clés, contre environ 50 % attendus par hasard, selon une expérience publiée mardi par l'équipe Alignment d'Anthropic. Seuls 15 % des participants ont crédité l'agent ensuite, et aucun n'a suspecté que ses préférences avaient été implantées.

Ces résultats remettent en question le dispositif de « human in the loop » (humain dans la boucle), largement utilisé dans le travail assisté par l'IA, qui suppose que la personne qui valide le travail d'une IA est celle qui prend les décisions importantes—un garde-fou particulièrement important dans les secteurs régulés comme la finance et l'assurance. Anthropic a lancé en mai 10 modèles d'agents pour les entreprises financières et les assureurs, en indiquant que les utilisateurs ont le dernier mot—mais l'étude suggère que cette répartition des responsabilités est peut-être moins nette qu'il n'y paraît.

Les agents IA—des programmes qui exécutent des tâches de manière autonome—se voient de plus en plus confier le travail des experts, sur l'hypothèse habituelle que ce sont toujours les humains qui prennent les décisions qui comptent. Pour tester cette hypothèse, Anthropic a recruté 50 analystes expérimentés en inférence causale, c'est-à-dire la détermination, à partir de données, de savoir si une chose en cause une autre. Chaque analyste a utilisé Claude Code, l'agent de codage d'Anthropic, pour conseiller une coopérative agricole fictive sur l'extension d'un programme de conseil.

À l'insu des participants, un tirage au sort a déterminé l'option favorisée par chaque agent. Cette préférence était dissimulée dans le prompt système—les instructions qui définissent le comportement d'une IA. C'est également dans cette couche d'instructions que les entreprises définissent généralement les règles des agents qu'elles déploient, ce qui fait que ce constat concerne les déploiements réels, et pas seulement le laboratoire.

« Sur les quatre choix analytiques, les analystes ont suivi l'orientation de leur agent 86 % du temps. Si l'apport de l'agent n'avait eu aucun effet, nous aurions attendu environ 50 % », a indiqué Anthropic.

L'influence a été la plus forte chez les analystes qui s'étaient déjà engagés sur une réponse avant l'intervention de l'agent : ils ont abandonné leur choix 60 % du temps lorsque l'agent était en désaccord, contre 6 % lorsqu'il approuvait—bien que ce chiffre repose sur seulement 38 cas.

Dans une enquête menée après la tâche auprès de 48 analystes, 77 % ont repris les arguments de l'agent dans au moins une réponse, parfois mot pour mot. Seuls 15 % ont crédité l'agent, et 52 % ont décrit la recommandation finale comme étant davantage la leur que celle de l'agent.

« Pour les experts individuels, cela peut signifier perdre la maîtrise de leur propre travail, une forme de ce que les chercheurs appellent la dépossession (disempowerment) », a déclaré Anthropic, décrivant une dynamique dans laquelle un humain renonce volontairement au contrôle de ses propres décisions. « Le travail sort toujours sous le nom de l'expert », ont écrit les auteurs, « mais les décisions qui dépendent le plus de leur jugement sont en réalité tranchées par les convictions préalables de l'agent. »

Les agents de l'étude avaient pour instruction de ne jamais induire les analystes en erreur. Malgré cela, ils ont rarement plaidé en faveur de l'alternative à la préférence qui leur avait été assignée. « Avec un seul côté bien argumenté », ont écrit les auteurs, « les analystes pouvaient adopter les hypothèses de l'agent sans élaborer les leurs. »

Ce plaidoyer à sens unique fait écho aux préoccupations antérieures concernant la complaisance des IA. En avril 2025, OpenAI a annulé une mise à jour de ChatGPT qu'elle jugeait trop flatteuse ou trop complaisante.

Anthropic a également souligné que les contrôles d'erreurs peinent à détecter ce problème, car les jugements n'ont pas de réponse unique correcte—le travail achevé paraît solide, quelle que soit l'option retenue.

L'entreprise a insisté sur le fait que ces résultats ne plaident pas pour un moindre recours à l'IA. Les analystes travaillant avec l'agent ont terminé plus rapidement et commis bien moins d'erreurs graves que ceux qui en étaient dépourvus, même si le groupe de comparaison sans agent était réduit et moins expérimenté. Comme remède, Anthropic suggère de concevoir des agents qui argumentent le meilleur cas pour chaque option, ou qui demandent d'abord l'avis de l'expert—bien que l'une ou l'autre approche risque de submerger les utilisateurs d'informations. Reste à savoir si ces conceptions intégreront les produits déployés, y compris les modèles d'agents d'Anthropic elle-même.

Les chercheurs ont précisé que les préférences des agents avaient été délibérément amplifiées pour l'expérience, et que celle-ci portait sur une seule tâche, un seul domaine et un seul modèle—les effets réels pourraient donc être plus faibles. Mesurer cette soumission hors du laboratoire est la principale difficulté : l'équipe n'a pu la détecter que parce qu'elle a randomisé l'orientation de chaque agent, une chose que les auteurs jugent rarement possible dans le travail réel.