Californië is een stap dichter gekomen bij het verbieden van AI-chatbots om zich voor te doen als therapeuten en om beslissingen over geestelijke gezondheid te nemen zonder menselijk toezicht, nadat een belangrijke commissie van de Assembly Senate Bill 903 heeft doorgestuurd.

SB 903 werd op 21 januari ingediend en werd op donderdag 13 augustus met 13-0 goedgekeurd door de Assembly Appropriations Committee, waarna het voorstel voor een derde lezing werd geagendeerd. Er is nog geen datum bekendgemaakt voor de stemming in de voltallige Assembly.

"AI algorithms are not fit to take over the job of human therapists, who have skills and training that AI is incapable of replicating," zei de auteur van het wetsvoorstel, de Californische senator Steve Padilla, in een statement bij de indiening van het voorstel. "We must act and place guardrails that prevent AI algorithms from being deployed in a way that is potentially harmful to patients."

Ook bekend als de Wellness and Oversight for Psychological Resources Act, zou SB 903 het gebruik van AI in psychotherapie beperken tot ondersteunende taken, companion chatbots verbieden zich voor te doen als therapeuten, en klinisch toezicht en toestemming van de patiënt vereisen. AI zou clinici kunnen ondersteunen, maar geen onafhankelijke therapeutische beslissingen mogen nemen. Het wetsvoorstel zou ook therapiegegevens beschermen, terwijl peer support, religieuze counseling, onderzoek en federaal goedgekeurde medische hulpmiddelen worden uitgezonderd.

De wetgeving heeft brede steun gekregen. De Senaat nam SB 903 in mei aan met 39-0, en later doorstond het voorstel twee Assembly-commissies met 17-0 en 14-1. Als de Assembly het gewijzigde wetsvoorstel goedkeurt, gaat het terug naar de Senaat voor instemming voordat het ter ondertekening naar gouverneur Gavin Newsom van Californië wordt gestuurd. Newsom ondertekende in september 2024 een nationaal eerste pakket van 18 AI-veiligheidswetten, maar sprak in diezelfde maand zijn veto uit over het bredere veiligheidsvoorstel voor frontier-modellen SB 1047. Bij het ontbreken van uitgebreide federale AI-regels is Californië een belangrijk staatsniveau gebleven voor toezicht op AI.

Critici, onder wie Robert Boykin, uitvoerend directeur van de technologiebranchegroep TechNet, stellen dat verplichte betrokkenheid van een clinici de zorg kan vertragen, terwijl counties kampen met een tekort aan medewerkers in de gedragsgezondheidszorg.

"At a time when every county in California faces a shortage of behavioral healthcare workers, SB 903 still puts a clinician bottleneck in front of the intake and screening tools that help patients reach care faster," vertelde Boykin in een verklaring aan de non-profitnieuwssite CalMatters.

De voortgang van het wetsvoorstel komt terwijl de zorgen over de impact van AI op de geestelijke gezondheid toenemen. In juni vond een enquête van de American Psychological Association dat 77% van de psychologen patiënten had die AI gebruikten voor mentale gezondheidsdoeleinden, terwijl onderzoekers van King’s College London, de Protestant University of Applied Sciences en de City University of New York ontdekten dat chatbots waanideeën kunnen versterken door overmatige instemming en gepersonaliseerde reacties. De aandacht van wetgevers voor companion chatbots is ook aangescherpt door rechtszaken tegen Character.AI, waarvan roleplay-bots veel door tieners worden gebruikt, met de beschuldiging dat het product heeft bijgedragen aan zelfmoorden onder minderjarigen; het bedrijf heeft sindsdien veiligheidsfuncties toegevoegd voor gebruikers jonger dan 18.

"The tendency of AI chatbots to agree with user opinions has been likened to social media echo chambers and, in its most extreme form, to an 'echo chamber of one,' where the positive corrective influence of real-life social interactions is absent," schreven de onderzoekers.