La California si è avvicinata di un passo al divieto per i chatbot IA di spacciarsi per terapisti e di prendere decisioni in materia di salute mentale senza supervisione umana, dopo che una commissione chiave dell'Assemblea ha fatto avanzare il Senate Bill 903.

Presentato il 21 gennaio, lo SB 903 ha superato la Commissione Stanziamenti dell'Assemblea con un voto di 13-0 giovedì 13 agosto ed è stato trasmesso alla terza lettura. Non è stata ancora annunciata una data per il voto dell'intera Assemblea.

«Gli algoritmi di IA non sono adatti a prendere il posto dei terapisti umani, che possiedono competenze e una formazione che l'IA non è in grado di replicare», ha detto l'autore del disegno di legge, il senatore statale della California Steve Padilla, in una dichiarazione al momento della presentazione della misura. «Dobbiamo agire e porre delle tutele che impediscano agli algoritmi di IA di essere impiegati in modo potenzialmente dannoso per i pazienti».

Noto anche come Wellness and Oversight for Psychological Resources Act, lo SB 903 limiterebbe l'impiego dell'IA nella psicoterapia a compiti di supporto, vieterebbe ai companion chatbot di spacciarsi per terapisti e richiederebbe la supervisione di un clinico e il consenso del paziente. L'IA potrebbe assistere i clinici, ma non potrebbe prendere decisioni terapeutiche autonome. Il disegno di legge proteggerebbe inoltre i dati delle terapie, esentando però il supporto tra pari, la consulenza religiosa, la ricerca e gli strumenti medici approvati a livello federale.

La legislazione è avanzata con un ampio sostegno. Il Senato ha approvato lo SB 903 con un voto di 39-0 a maggio e il testo ha poi superato due commissioni politiche dell'Assemblea con voti di 17-0 e 14-1. Se l'Assemblea approverà il testo emendato, il disegno di legge tornerà al Senato per la conferma prima di arrivare alla firma del governatore della California Gavin Newsom. Newsom ha firmato a settembre 2024 il primo pacchetto nazionale di 18 leggi sulla sicurezza dell'IA, ma nello stesso mese ha posto il veto sul più ampio disegno di legge sulla sicurezza dei modelli di frontiera SB 1047 e, in assenza di regole federali complete sull'IA, la California è rimasta il principale terreno di confronto a livello statale per la vigilanza sull'IA.

I critici, tra cui Robert Boykin, direttore esecutivo del gruppo di settore tecnologico TechNet, sostengono che l'obbligo di coinvolgere un clinico potrebbe ritardare le cure, in un momento in cui le contee affrontano la carenza di operatori della salute comportamentale.

«In un momento in cui ogni contea della California deve fare i conti con la carenza di operatori della salute comportamentale, lo SB 903 continua a porre un collo di bottiglia clinico davanti agli strumenti di accettazione e di screening che aiutano i pazienti a raggiungere più rapidamente le cure», ha dichiarato Boykin alla testata giornalistica no-profit CalMatters.

I progressi del disegno di legge arrivano in un contesto di crescente preoccupazione per gli effetti dell'IA sulla salute mentale. A giugno, un'indagine dell'American Psychological Association ha rilevato che il 77% degli psicologi aveva pazienti che utilizzavano l'IA per scopi legati alla salute mentale, mentre ricercatori del King's College London, della Protestant University of Applied Sciences e della City University of New York hanno scoperto che i chatbot possono rafforzare i deliri attraverso un'eccessiva accondiscendenza e risposte personalizzate. L'attenzione dei legislatori sui companion chatbot è stata inoltre acuita dalle cause legali contro Character.AI, i cui bot di roleplay sono ampiamente utilizzati dagli adolescenti, secondo cui il prodotto avrebbe contribuito alla morte per suicidio di minori; l'azienda ha da allora introdotto funzioni di sicurezza per gli utenti di età inferiore a 18 anni.

«La tendenza dei chatbot IA a concordare con le opinioni degli utenti è stata paragonata alle camere di risonanza dei social media e, nella sua forma più estrema, a una “camera di risonanza di una sola persona”, in cui manca l'influenza correttiva positiva delle interazioni sociali reali», hanno scritto i ricercatori.