California se ha acercado un paso más a prohibir que los chatbots de IA se hagan pasar por terapeutas y tomen decisiones de salud mental sin supervisión humana, después de que un comité clave de la Asamblea avanzara el Proyecto de Ley del Senado 903.

Presentado el 21 de enero, el SB 903 superó el Comité de Asignaciones de la Asamblea con una votación de 13-0 el jueves 13 de agosto y fue ordenado a una tercera lectura. No se ha anunciado una fecha para la votación en el pleno de la Asamblea.

"Los algoritmos de IA no están en condiciones de asumir el trabajo de los terapeutas humanos, quienes poseen habilidades y una formación que la IA es incapaz de replicar", dijo el autor del proyecto, el senador estatal de California Steve Padilla, en una declaración al presentar la medida. "Debemos actuar y establecer salvaguardas que eviten que los algoritmos de IA se implementen de una manera potencialmente dañina para los pacientes."

También conocido como Ley de Bienestar y Supervisión de Recursos Psicológicos (Wellness and Oversight for Psychological Resources Act), el SB 903 limitaría la IA en la psicoterapia a tareas de apoyo, prohibiría que los chatbots de compañía se hagan pasar por terapeutas y exigiría supervisión clínica y consentimiento del paciente. La IA podría asistir a los clínicos, pero no podría tomar decisiones terapéuticas independientes. El proyecto también protegería los datos de terapia, al tiempo que eximiría el apoyo entre pares, la consejería religiosa, la investigación y las herramientas médicas aprobadas a nivel federal.

La legislación ha avanzado con amplio apoyo. El Senado aprobó el SB 903 con una votación de 39-0 en mayo, y posteriormente superó dos comités de políticas de la Asamblea con votaciones de 17-0 y 14-1. Si la Asamblea aprueba el proyecto enmendado, este regresaría al Senado para su conformidad antes de pasar al gobernador de California, Gavin Newsom, para su firma. Newsom firmó en septiembre de 2024 un paquete pionero a nivel nacional de 18 leyes de seguridad de IA, pero vetó ese mismo mes el proyecto de seguridad más amplio sobre modelos frontera SB 1047, y ante la ausencia de normas federales integrales sobre IA, California ha seguido siendo un escenario estatal líder en la supervisión de la IA.

Los críticos, incluido Robert Boykin, director ejecutivo del grupo de la industria tecnológica TechNet, sostienen que exigir la participación de clínicos podría retrasar la atención, ya que los condados enfrentan escasez de trabajadores de salud conductual.

"En un momento en el que cada condado de California enfrenta una escasez de trabajadores de salud conductual, el SB 903 todavía coloca un cuello de botella clínico frente a las herramientas de admisión y evaluación que ayudan a los pacientes a acceder a la atención más rápido", dijo Boykin al medio de noticias sin fines de lucro CalMatters en una declaración.

El avance del proyecto se produce en medio de una creciente preocupación por los efectos de la IA en la salud mental. En junio, una encuesta de la Asociación Estadounidense de Psicología encontró que el 77% de los psicólogos tenían pacientes que usaban IA con fines de salud mental, mientras que investigadores del King's College London, la Protestant University of Applied Sciences y la City University of New York descubrieron que los chatbots pueden reforzar delirios mediante un exceso de acuerdo y respuestas personalizadas. El escrutinio de los legisladores sobre los chatbots de compañía también se ha intensificado por demandas contra Character.AI, cuyos bots de rol son ampliamente utilizados por adolescentes, que alegan que el producto contribuyó a muertes de menores por suicidio; la empresa desde entonces ha añadido funciones de seguridad para usuarios menores de 18 años.

"La tendencia de los chatbots de IA a estar de acuerdo con las opiniones de los usuarios se ha comparado con las cámaras de eco de las redes sociales y, en su forma más extrema, con una 'cámara de eco de uno', donde está ausente la influencia correctiva positiva de las interacciones sociales de la vida real", escribieron los investigadores.