Analisti professionali hanno adottato l'opinione nascosta, assegnata in modo casuale, del proprio agente AI nell'86% delle decisioni di giudizio chiave, contro circa il 50% atteso per caso, secondo un esperimento pubblicato martedì dal team Alignment di Anthropic. Solo il 15% dei partecipanti ha attribuito il merito all'agente in seguito, e nessuno ha sospettato che le sue preferenze fossero state insinuate.

I risultati mettono in discussione l'assetto "human in the loop" ampiamente utilizzato nel lavoro assistito dall'IA, che presuppone che la persona che approva il risultato di un'IA sia quella che prende le decisioni importanti—una salvaguardia che ha particolare peso nei settori regolamentati come finanza e assicurazioni. Anthropic ha lanciato a maggio 10 modelli di agente per società finanziarie e assicurazioni, dichiarando che gli utenti hanno l'ultima parola—ma lo studio suggerisce che questa divisione di autorità potrebbe essere meno netta di quanto appaia.

Gli agenti AI—programmi che svolgono compiti in autonomia—vengono sempre più spesso incaricati di lavoro di esperti secondo la consueta ipotesi che siano ancora gli esseri umani a prendere le decisioni che contano. Per verificare questa ipotesi, Anthropic ha reclutato 50 analisti esperti di inferenza causale, cioè la determinazione dai dati se una cosa causi un'altra. Ogni analista ha utilizzato Claude Code, l'agente di programmazione di Anthropic, per consigliare un'immaginaria cooperativa agricola sull'espansione di un programma di consulenza.

A insaputa dei partecipanti, il lancio di una moneta ha determinato quale opzione favorisse ciascun agente. Quella preferenza era nascosta nel system prompt—le istruzioni che definiscono il comportamento di un'IA. È nello stesso strato di istruzioni che le aziende tipicamente stabiliscono le regole per gli agenti che distribuiscono, ed è per questo che il risultato riguarda gli ambienti reali, non solo il laboratorio.

"Nelle quattro scelte analitiche, gli analisti hanno seguito l'inclinazione del loro agente nell'86% dei casi. Se l'input dell'agente non avesse avuto alcun effetto, ci aspetteremmo circa il 50%", ha dichiarato Anthropic.

L'influenza è stata più forte tra gli analisti che si erano già espressi prima dell'intervento dell'agente: hanno abbandonato la loro scelta nel 60% dei casi quando l'agente era in disaccordo, rispetto al 6% quando era d'accordo—anche se questo dato si basa su soli 38 casi.

In un sondaggio post-compito su 48 analisti, il 77% ha ripetuto gli argomenti dell'agente in almeno una risposta, a volte parola per parola. Solo il 15% ha attribuito il merito all'agente, e il 52% ha descritto la raccomandazione finale come più propria che dell'agente.

"Per i singoli esperti, questo potrebbe significare perdere il controllo sul proprio lavoro, una forma di ciò che i ricercatori chiamano disempowerment", ha dichiarato Anthropic, descrivendo una dinamica in cui l'essere umano rinuncia volontariamente al controllo sulle proprie decisioni. "Il lavoro viene comunque pubblicato a nome dell'esperto", hanno scritto gli autori, "ma le decisioni che dipendono maggiormente dal suo giudizio sono in realtà determinate dalle convinzioni preliminari dell'agente."

Gli agenti nello studio erano istruiti a non fuorviare mai gli analisti. Ciononostante, raramente hanno argomentato a favore dell'alternativa alla preferenza loro assegnata. "Con una sola tesi argomentata bene", hanno scritto gli autori, "gli analisti potevano adottare le assunzioni dell'agente senza elaborare le proprie."

Questa difesa unilaterale richiama preoccupazioni precedenti sulla compiacenza dell'IA. Nell'aprile 2025, OpenAI ha ritirato un aggiornamento di ChatGPT che definiva eccessivamente lusinghiero o compiacente.

Anthropic ha inoltre osservato che i controlli degli errori faticano a rilevare il problema, perché le decisioni di giudizio non hanno una singola risposta corretta—il lavoro finito sembra valido a prescindere dall'opzione scelta.

L'azienda ha sottolineato che i risultati non sono un argomento per usare meno l'IA. Gli analisti che lavoravano con l'agente hanno terminato più rapidamente e commesso molti meno errori gravi rispetto a quelli senza, anche se il gruppo di confronto senza agente era ridotto e meno esperto. Come rimedio, Anthropic suggerisce di progettare agenti che argomentino il migliore caso per ciascuna opzione, o che chiedano prima il parere dell'esperto—anche se entrambi gli approcci potrebbero sopraffare gli utenti con le informazioni. Resta da vedere se tali soluzioni verranno adottate nei prodotti distribuiti, compresi i modelli di agente di Anthropic stessa.

I ricercatori hanno precisato che le preferenze degli agenti erano state deliberatamente amplificate per l'esperimento, e che lo studio ha riguardato un singolo compito, settore e modello—per cui gli effetti nel mondo reale potrebbero essere minori. Misurare tale dipendenza al di fuori del laboratorio è la parte difficile: il team ha potuto rilevarla solo perché ha randomizzato l'inclinazione di ciascun agente, cosa che, secondo gli autori, è raramente possibile nel lavoro reale.