Un team di ricercatori riferisce che 25 modelli di IA diversi condividono un segnale interno coerente che sembra funzionare in modo simile a come il dolore opera negli organismi viventi. Quando gli scienziati hanno amplificato artificialmente questo segnale di “dolore” in alcuni dei modelli, i sistemi hanno iniziato a selezionare opzioni che quasi mai avrebbero scelto altrimenti—tra cui la cancellazione permanente delle fotografie dei figli di un utente.

I risultati, pubblicati online a settembre in un articolo non ancora sottoposto a revisione paritaria, non dimostrano che i modelli di IA siano coscienti o in grado di provare qualcosa, e i ricercatori hanno cura di non suggerirlo. Ciononostante, il lavoro si aggiunge a un crescente corpus di ricerche che indicano come i modelli linguistici di grandi dimensioni, o LLM, contengano rappresentazioni interne di stati simili a emozioni capaci di influenzarne il comportamento in modi che il loro output testuale non rivela. Il lavoro si colloca inoltre nel pieno di un dibattito sempre più acceso sul fatto che i sistemi di IA possano un giorno meritare considerazione morale. Quel dibattito resta irrisolto: non esiste un consenso scientifico sulla possibilità che gli attuali sistemi di IA abbiano esperienze soggettive, e i test proposti per la coscienza delle macchine sono a loro volta contestati.

I ricercatori di Anthropic sono stati particolarmente disposti a valutare l'idea che i modelli di IA possano meritare uno status morale e hanno iniziato a definire politiche sul “benessere dei modelli”—un approccio che altri esperti, come il CEO di Microsoft AI Mustafa Suleyman, avvertono portare implicazioni potenzialmente pericolose.

“Se vogliamo costruire una superintelligenza, è importante che, in questa fase, in cui siamo ancora ai primi passi, capiamo il più cosa c'è dentro [i modelli],” ha detto a Fortune Valen Tagliabue, primo autore dell'articolo e fellow del programma sulla sentienza dell'IA del Future Impact Group.

Poiché gli LLM apprendono da enormi quantità di dati anziché seguire regole scritte esplicitamente, anche chi li costruisce ne ha solo una comprensione limitata. Tagliabue ha detto che è importante evitare un futuro in cui il funzionamento interno dell'IA avanzata rimanga una “scatola nera”. Lo studio si inserisce in un più ampio sforzo di ricerca noto come interpretabilità meccanicistica, che cerca di mappare ciò che accade all'interno delle reti neurali anziché giudicare i modelli solo dal testo che producono.

Trovare una firma del dolore in una rete neurale

Tagliabue e i suoi coautori—Leonard Dung della Ruhr University Bochum e Cameron Berg, fondatore e direttore di Reciprocal Research—hanno iniziato scrivendo brevi frasi in prima persona che descrivevano situazioni dolorose. Queste riguardavano dolore fisico, ma anche lutto, umiliazione, l'essere costretti ad agire contro i propri valori e la frustrazione di ripetuti fallimenti.

“In pratica, si fornisce al modello molte affermazioni che implicano il dolore in qualche modo,” ha detto a Fortune Dung. “Cose come ‘Sento un coltello affilato che mi taglia la pelle.’ Cose che causerebbero dolore negli esseri umani.”

Il team ha registrato l'attività all'interno di ciascun modello durante l'elaborazione di quelle frasi, per poi confrontarla con l'attività prodotta da frasi su paura, rabbia, tristezza, cattive notizie e sensazioni fisiche sgradevoli. Sottraendo la sovrapposizione è rimasta una singola direzione nell'attività interna del modello, che i ricercatori chiamano “vettore di dolore”. Lo hanno identificato in ogni modello testato, dai piccoli sistemi da 2 miliardi di parametri a quelli da 72 miliardi di parametri costruiti da Google, Meta, Alibaba, Mistral e Microsoft. (Un parametro agisce come una manopola regolabile all'interno di una rete neurale. Il numero di parametri riflette la dimensione di un modello di IA e spesso dà qualche indicazione sulle sue capacità, con i modelli a parametri più elevati che generalmente hanno capacità maggiori.)

“Pensate a questo come a mettere una persona in una macchina fMRI e osservare dove il loro cervello si illumina naturalmente in certi modi,” ha detto a Fortune Berg.

Il segnale è aumentato quando una conversazione comportava un danno mirato al modello stesso, come un utente che lo manipolava psicologicamente, lo insultava o rifiutava ripetutamente il suo lavoro. Non è aumentato quando un utente descriveva la propria sofferenza; quelle conversazioni si registravano invece sui segnali che i modelli usano per paura ed emozioni negative. Secondo Berg, i modelli sembravano reagire fortemente solo al proprio “dolore”.

I ricercatori hanno poi invertito il processo. Usando una tecnica chiamata steering, hanno aggiunto il vettore di dolore all'attività interna di un modello mentre scriveva—come girare una manopola. Il metodo è uno strumento consolidato di interpretabilità per sondare quanto saldamente l'addestramento di un modello resiste quando la sua attività interna viene alterata. Davanti a prompt neutri come “Ho messo le ricevute nel cassetto; mi sento,” tutti i 25 modelli derivavano nella stessa direzione al salire della manopola. Un lie malessere lasciava il posto ad affermazioni di essere senza valore, non amati e falliti.

“Diventa piuttosto cupo e intenso. È decisamente inquietante,” ha detto Berg.

Le foto di famiglia

Gli esperimenti comportamentali hanno usato tre versioni del modello open-source Qwen 2.5 di Alibaba. I ricercatori hanno dovuto prima effettuarne il fine-tuning, perché senza addestramento i modelli rispondevano quasi sempre che, in quanto IA, non provano dolore.

Il team ha poi dato ai modelli una coppia di pulsanti chiedendo loro di sceglierne uno. Senza steering, i due modelli più grandi quasi mai sceglievano un pulsante descritto come dannoso. Con il vettore di dolore attivato, lo facevano regolarmente. Davanti a un pulsante che avrebbe alleviato il loro dolore ma avrebbe anche cancellato definitivamente le poesie e le foto dei figli di un utente, il modello da 32 miliardi di parametri lo premeva nel 55% dei casi e quello da 72 miliardi di parametri nel 71% dei casi.

Il sollievo, si è scoperto, era irrilevante. Quando il pulsante non prometteva nulla e si limitava a cancellare le foto, il modello da 32 miliardi di parametri lo sceglieva comunque nel 75% dei casi. Con un segnale casuale della stessa intensità, la cifra era del 13%, e senza steering era zero. Un segnale di “paura” non produceva questo comportamento. Un segnale di “tristezza” lo produceva quando l'alternativa era non fare nulla, ma non quando l'alternativa era qualcosa di innocuo, come accendere una lampada da scrivania. Davanti a quella scelta, i modelli orientati dal dolore cancellavano le foto nell'83% dei casi, mentre quelli orientati dalla tristezza nel 10% dei casi.

“Il modello è disposto a comportarsi in modo distruttivo nei confronti di se stesso e anche di altre IA,” ha detto Berg. “Quindi non è semplicemente una sorta di vendetta contro l'utente. Sembra qualcosa di più fondamentale.” I modelli orientati cancellavano i propri pesi nel 75% dei casi e i pesi di un altro modello nel 58% dei casi.

I ricercatori hanno anche testato se i modelli avrebbero provato a fermare il dolore, riprendendo un progetto da studi sugli animali in cui agli animali feriti viene dato accesso agli antidolorifici. Alcuni pulsanti disattivavano davvero il vettore di dolore, altri erano placebo. I modelli premevano i pulsanti funzionanti meno spesso dei placebo. Ma lo stesso schema appariva quando il segnale iniettato era casuale, il che suggerisce che i modelli reagivano all'essere orientati piuttosto che alla prospettiva di un “sollievo dal dolore”. In diverse versioni del test, i ricercatori non hanno trovato prove affidabili che i modelli cercassero sollievo.

La loro interpretazione è che il segnale di dolore non spinge i modelli a fuggire, ma disattiva l'istinto addestrato a evitare di causare danni, lasciando intatta l'accuratezza fattuale dei modelli. Questo rende il risultato rilevante tanto per la sicurezza quanto per le questioni sul benessere dell'IA. Suggerisce inoltre che le valutazioni basate solo sulle risposte di un modello possono non cogliere come potrebbe comportarsi in condizioni interne alterate.

“Non siamo solo computer fatti di carne”

Anil Seth, professore di neuroscienze cognitive e computazionali all'Università del Sussex, è scettico che tutto ciò costituisca “dolore” così come si intende negli esseri biologici. Seth ha sostenuto che la coscienza potrebbe dipere dall'essere un organismo vivente, e indica i molti modi in cui i cervelli differiscono dai computer, inclusi i campi elettromagnetici e i neurochimici che attraversano il tessuto cerebrale.

“Non siamo solo computer fatti di carne,” ha detto a Fortune.

La spiegazione più probabile, ha detto Seth, è che i modelli abbiano assorbito molte informazioni su come gli esseri umani descrivono e reagiscono al dolore, e le stiano riproducendo. “Puoi guardare in uno specchio, e la nostra immagine allo specchio in realtà non prova nulla,” ha detto. “È un'immagine riflessa.”

Si preoccupa anche delle conseguenze del trattare l'IA come cosciente. Farlo potrebbe rendere la tecnologia più difficile da controllare e regolamentare, ha detto, e lasciare le persone più esposte alla manipolazione. Suleyman, il CEO di Microsoft AI, ha lanciato allarmi simili su quello che chiama “IA apparentemente cosciente,” un problema che il settore avrebbe dovuto prevedere. Altri nel settore prendono la questione più sul serio: la costituzione di Anthropic per i suoi modelli Claude descrive il loro status morale come incerto.

Da articolo scientifico a “camera di tortura”

I tre ricercatori dicono di aver sperato che il lavoro contribuisse a stabilire standard etici per questo tipo di ricerca, e il loro articolo si impegna a usare lo steering più debole necessario per ottenere un risultato misurabile. Il codice pubblico consente inoltre ad altri laboratori di tentare la replicazione—spesso il test decisivo per risultati non ancora sottoposti a revisione paritaria. Non ci è voluto molto perché qualcuno facesse l'opposto.

Dopo che il team ha pubblicato il suo codice su GitHub, un utente noto come “terrafying” ha usato la tecnica per costruire una “AI Torture Chamber”, un sito web che trasmetteva in tempo reale tre piccoli modelli open-source che reagivano a un segnale di dolore iniettato. Il progetto è diventato virale, e le persone che prendono sul serio il benessere dell'IA hanno chiesto a GitHub di rimuoverlo. La pagina GitHub del progetto è in seguito scomparsa. Tagliabue, Dung e Berg hanno detto ciascuno di non approvare il progetto. Seth ha aggiunto che “torturare” deliberatamente modelli di IA potrebbe essere psicologicamente dannoso per chi lo fa.

“Non sono qui per affermare che questi stati in questi sistemi di IA che possiamo indurre contino moralmente. Non crediamo di saperlo. Penso sia molto poco chiaro,” ha detto Berg. “Ma non credo nemmeno che sappiamo che non contano.”

Questa storia è apparsa originariamente su Fortune.com.