Kalifornien ist einen Schritt näher daran gerückt, AI-Chatbots zu verbieten, sich als Therapeuten auszugeben und ohne menschliche Aufsicht Entscheidungen zur psychischen Gesundheit zu treffen, nachdem ein wichtiger Ausschuss der Assembly Senate Bill 903 vorangebracht hat.

Am 21. Januar eingebracht, wurde SB 903 am Donnerstag, dem 13. August, im Assembly Appropriations Committee mit 13-0 Stimmen angenommen und zur dritten Lesung weitergeleitet. Ein Termin für die Abstimmung im Plenum der Assembly steht noch nicht fest.

"AI algorithms are not fit to take over the job of human therapists, who have skills and training that AI is incapable of replicating," sagte der Autor des Entwurfs, der kalifornische State Senator Steve Padilla, in einer statement bei der Einbringung der Maßnahme. "We must act and place guardrails that prevent AI algorithms from being deployed in a way that is potentially harmful to patients."

SB 903, auch bekannt als Wellness and Oversight for Psychological Resources Act, würde den Einsatz von AI in der Psychotherapie auf Unterstützungsaufgaben beschränken, Companion-Chatbots verbieten, sich als Therapeuten auszugeben, und klinische Aufsicht sowie die Einwilligung der Patientinnen und Patienten verlangen. AI könnte Kliniker unterstützen, dürfte jedoch keine eigenständigen therapeutischen Entscheidungen treffen. Der Entwurf würde außerdem Therapiedaten schützen, während Peer-Support, religiöse Beratung, Forschung und bundesrechtlich zugelassene medizinische Werkzeuge ausgenommen wären.

Die Gesetzgebung ist mit breiter Unterstützung vorangekommen. Der Senat verabschiedete SB 903 im Mai mit 39-0 Stimmen, und später passierte der Entwurf zwei Policy-Ausschüsse der Assembly mit 17-0 und 14-1 Stimmen. Wenn die Assembly den geänderten Entwurf billigt, würde er zur Zustimmung an den Senat zurückgehen, bevor er zur Unterzeichnung an California Governor Gavin Newsom gelangt. Newsom unterzeichnete im September 2024 ein landesweit erstes Paket aus 18 AI-Sicherheitsgesetzen, legte aber im selben Monat sein Veto gegen den umfassenderen Frontier-Model-Sicherheitsentwurf SB 1047 ein; angesichts fehlender umfassender bundesweiter AI-Regeln bleibt Kalifornien ein führender Bundesstaat für AI-Aufsicht.

Kritiker, darunter Robert Boykin, Executive Director der Technologiebranche-Gruppe TechNet, argumentieren, dass die vorgeschriebene Einbindung von Klinikern die Versorgung verzögern könnte, da die Landkreise unter einem Mangel an Beschäftigten im Bereich der Verhaltensgesundheit leiden.

"At a time when every county in California faces a shortage of behavioral healthcare workers, SB 903 still puts a clinician bottleneck in front of the intake and screening tools that help patients reach care faster," sagte Boykin in einer Erklärung gegenüber dem gemeinnützigen Nachrichtenmedium CalMatters.

Die Entwicklung erfolgt vor dem Hintergrund wachsender Sorge über die Auswirkungen von AI auf die psychische Gesundheit. Im Juni ergab eine American Psychological Association survey, dass 77% der Psychologen Patientinnen und Patienten hatten, die AI für Zwecke der psychischen Gesundheit nutzten, während Forschende am King's College London, der Protestant University of Applied Sciences und der City University of New York herausfanden, dass chatbots can reinforce delusions durch übermäßige Zustimmung und personalisierte Antworten. Die Kontrolle von Companion-Chatbots durch Gesetzgeber wurde zudem durch Klagen gegen Character.AI verschärft, dessen Roleplay-Bots von Teenagern häufig genutzt werden; darin wird behauptet, das Produkt habe zum Suizid von Minderjährigen beigetragen. Das Unternehmen hat seitdem Sicherheitsfunktionen für Nutzer unter 18 Jahren ergänzt.

"The tendency of AI chatbots to agree with user opinions has been likened to social media echo chambers and, in its most extreme form, to an 'echo chamber of one,' where the positive corrective influence of real-life social interactions is absent," schrieben die Forschenden.