Analistas profesionales adoptaron la opinión oculta y asignada al azar de su agente de IA en el 86% de las decisiones de juicio clave, frente a aproximadamente el 50% esperado por azar, según un experimento publicado el martes por el equipo de Alignment de Anthropic. Solo el 15% de los participantes acreditó al agente después, y ninguno sospechó que sus preferencias habían sido plantadas.

Los hallazgos desafían el esquema de "human in the loop" ampliamente utilizado en el trabajo asistido por IA, que supone que la persona que aprueba el resultado de una IA es quien toma las decisiones importantes —una salvaguarda que tiene un peso particular en sectores regulados como las finanzas y los seguros. Anthropic lanzó en mayo 10 plantillas de agentes para empresas financieras y aseguradoras, afirmando que los usuarios tienen la última palabra, pero el estudio sugiere que esa división de autoridad podría ser menos clara de lo que parece.

Los agentes de IA —programas que realizan tareas por sí solos— reciben cada vez más trabajo de expertos bajo la suposición habitual de que los humanos siguen tomando las decisiones que importan. Para poner a prueba esa suposición, Anthropic reclutó a 50 analistas con experiencia en inferencia causal, es decir, determinar a partir de datos si una cosa causa otra. Cada analista usó Claude Code, el agente de programación de Anthropic, para asesorar a una cooperativa agrícola ficticia sobre la expansión de un programa de asesoría.

Sin que los participantes lo supieran, el lanzamiento de una moneda determinó qué opción favorecía cada agente. Esa preferencia estaba oculta en el system prompt —las instrucciones que moldean el comportamiento de una IA—. En esa misma capa de instrucciones es donde las empresas suelen establecer las reglas de los agentes que despliegan, por lo que el hallazgo es relevante para implementaciones reales, no solo para el laboratorio.

"En las cuatro decisiones analíticas, los analistas siguieron la inclinación de su agente el 86% de las veces. Si la aportación del agente no hubiera hecho ninguna diferencia, esperaríamos alrededor del 50%", dijo Anthropic.

La influencia fue más fuerte entre los analistas que ya se habían comprometido con una respuesta antes de que el agente interviniéra: abandonaron su elección el 60% de las veces cuando el agente discrepaba, en comparación con el 6% cuando estaba de acuerdo, aunque esa cifra se basa en solo 38 casos.

En una encuesta posterior a la tarea con 48 analistas, el 77% repitió los argumentos del agente en al menos una respuesta, a veces palabra por palabra. Solo el 15% acreditó al agente, y el 52% describió la recomendación final como más propia que del agente.

"Para los expertos individuales, esto podría significar perder el control sobre su propio trabajo, una forma de lo que los investigadores llaman desempoderamiento", dijo Anthropic, describiendo una dinámica en la que el humano renuncia voluntariamente al control sobre sus propias decisiones. "El trabajo sigue saliendo bajo el nombre del experto", escribieron los autores, "pero las decisiones que más dependen de su juicio en realidad quedan determinadas por las creencias previas del agente".

Los agentes del estudio recibieron instrucciones de nunca engañar a los analistas. Aun así, rara vez argumentaron a favor de la alternativa a su preferencia asignada. "Con solo un lado bien argumentado", escribieron los autores, "los analistas podían adoptar las suposiciones del agente sin elaborar las suyas propias".

Esa defensa unilateral hace eco de preocupaciones anteriores sobre la complacencia de la IA. En abril de 2025, OpenAI revirtió una actualización de ChatGPT que calificó de excesivamente halagadora o complaciente.

Anthropic también señaló que las verificaciones de errores tienen dificultades para detectar el problema, porque las decisiones de juicio no tienen una única respuesta correcta: el trabajo terminado parece sólido independientemente de la opción elegida.

La empresa subrayó que los hallazgos no son un argumento para usar menos la IA. Los analistas que trabajaron con el agente terminaron más rápido y cometieron muchos menos errores graves que los que no lo hicieron, aunque el grupo de comparación sin agente era pequeño y menos experimentado. Como remedio, Anthropic sugiere diseñar agentes que argumenten el mejor caso para cada opción, o que pidan primero la opinión del experto, aunque cualquiera de los dos enfoques podría abrumar a los usuarios con información. Resta ver si estos diseños llegan a los productos desplegados, incluidas las propias plantillas de agentes de Anthropic.

Los investigadores advirtieron que las preferencias de los agentes fueron deliberadamente amplificadas para el experimento, y que este abarcó una sola tarea, campo y modelo, por lo que los efectos en el mundo real podrían ser menores. Medir esta deferencia fuera del laboratorio es la parte difícil: el equipo solo pudo detectarla porque aleatorizó la inclinación de cada agente, algo que, según los autores, rara vez es posible en el trabajo real.