La Californie s'est rapprochée d'un pas de l'interdiction faite aux chatbots IA de se faire passer pour des thérapeutes et de prendre des décisions en matière de santé mentale sans supervision humaine, après l'adoption du projet de loi sénatorial 903 par un comité clé de l'Assemblée.

Présenté le 21 janvier, le SB 903 a été approuvé par le comité des crédits de l'Assemblée par 13 voix contre 0 le jeudi 13 août, puis renvoyé en troisième lecture. Aucune date n'a été annoncée pour le vote en séance plénière de l'Assemblée.

« Les algorithmes d'IA ne sont pas en mesure de reprendre le travail des thérapeutes humains, qui possèdent des compétences et une formation que l'IA est incapable de reproduire », a déclaré l'auteur du texte, le sénateur d'État de Californie Steve Padilla, dans un communiqué présentant la mesure. « Nous devons agir et mettre en place des garde-fous empêchant que les algorithmes d'IA soient déployés d'une manière potentiellement dangereuse pour les patients. »

Également connu sous le nom de « Wellness and Oversight for Psychological Resources Act », le SB 903 limiterait le recours à l'IA en psychothérapie à des tâches de soutien, interdirait aux chatbots de compagnie de se faire passer pour des thérapeutes et exigerait une supervision clinique ainsi que le consentement des patients. L'IA pourrait assister les cliniciens, mais ne pourrait pas prendre de décisions thérapeutiques indépendantes. Le texte protégerait également les données de thérapie, tout en exemptant le soutien entre pairs, le conseil religieux, la recherche et les outils médicaux approuvés au niveau fédéral.

Le projet de loi a progressé avec un large soutien. Le Sénat a adopté le SB 903 par 39 voix contre 0 en mai, et le texte a ensuite franchi deux commissions parlementaires de l'Assemblée avec des votes de 17 voix contre 0 et de 14 voix contre 1. Si l'Assemblée adopte la version amendée, celle-ci retournera au Sénat pour accord avant d'être envoyée au gouverneur de Californie Gavin Newsom pour signature. M. Newsom a signé en septembre 2024 un ensemble inédit à l'échelle nationale de 18 lois sur la sécurité de l'IA, mais a opposé son veto le même mois au projet de loi plus large sur la sécurité des modèles de pointe SB 1047 ; en l'absence de règles fédérales globales sur l'IA, la Californie est demeurée l'une des principales arènes étatiques en matière d'encadrement de l'IA.

Les critiques, dont Robert Boykin, directeur exécutif du groupe industriel technologique TechNet, estiment que l'exigence d'une implication des cliniciens pourrait retarder l'accès aux soins alors que les comtés font face à des pénuries de professionnels de la santé comportementale.

« À un moment où chaque comté de Californie connaît une pénurie de professionnels de la santé comportementale, le SB 903 place toujours un goulet d'étranglement clinique devant les outils d'admission et de dépistage qui aident les patients à accéder plus rapidement aux soins », a déclaré M. Boykin au média à but non lucratif CalMatters dans un communiqué.

Les progrès de ce texte interviennent dans un contexte d'inquiétudes croissantes concernant les effets de l'IA sur la santé mentale. En juin, une enquête de l'American Psychological Association a révélé que 77 % des psychologues comptaient des patients ayant recours à l'IA à des fins de santé mentale, tandis que des chercheurs du King's College London, de la Protestant University of Applied Sciences et de la City University of New York ont constaté que les chatbots peuvent renforcer les délires par un excès d'approbation et des réponses personnalisées. La vigilance des législateurs à l'égard des chatbots de compagnie a également été renforcée par des poursuites judiciaires contre Character.AI, dont les robots de jeu de rôle sont largement utilisés par des adolescents, alléguant que le produit a contribué aux décès par suicide de mineurs ; l'entreprise a depuis ajouté des fonctionnalités de sécurité pour les utilisateurs de moins de 18 ans.

« La tendance des chatbots IA à approuver les opinions des utilisateurs a été comparée aux chambres d'écho des réseaux sociaux et, dans sa forme la plus extrême, à une “chambre d'écho à une seule personne”, où l'influence corrective positive des interactions sociales réelles est absente », ont écrit les chercheurs.