Калифорния приблизилась ещё на один шаг к запрету ИИ-чат-ботам выдавать себя за психотерапевтов и принимать решения в сфере психического здоровья без контроля со стороны человека после того, как ключевой комитет Ассамблеи одобрил сенатский законопроект 903.

Внесённый 21 января законопроект SB 903 в четверг, 13 августа, прошёл Комитет по ассигнованиям Ассамблеи при голосовании со счётом 13-0 и был направлен к третьему чтению. Дата голосования на пленарном заседании Ассамблеи пока не объявлена.

«Алгоритмы ИИ не годятся для того, чтобы взять на себя работу психотерапевтов, обладающих навыками и подготовкой, которые ИИ не способен воспроизвести», — заявил автор законопроекта, сенатор штата Калифорния Стив Падилья в заявлении при внесении этой меры. «Мы должны действовать и установить защитные барьеры, которые не позволят развёртывать алгоритмы ИИ способом, потенциально опасным для пациентов».

Законопроект SB 903, также известный как «Закон о благополучии и надзоре за психологическими ресурсами» (Wellness and Oversight for Psychological Resources Act), ограничил бы применение ИИ в психотерапии вспомогательными задачами, запретил бы компаньонским чат-ботам выдавать себя за терапевтов и потребовал бы надзора со стороны клиницистов и согласия пациентов. ИИ мог бы помогать клиницистам, но не мог бы принимать самостоятельные терапевтические решения. Законопроект также защитил бы данные терапии, при этом из-под его действия выводятся взаимная поддержка, религиозное консультирование, научные исследования и одобренные на федеральном уровне медицинские инструменты.

Законопроект продвигается при широкой поддержке. В мае Сенат принял SB 903 со счётом 39-0, а позднее тот прошёл два профильных комитета Ассамблеи со счетами 17-0 и 14-1. Если Ассамблея одобрит изменённую версию законопроекта, он вернётся в Сенат для согласования, прежде чем будет направлен губернатору Калифорнии Гэвину Ньюсому на подпись. В сентябре 2024 года Ньюсом подписал первый в стране пакет из 18 законов о безопасности ИИ, однако в том же месяце наложил вето на более широкий законопроект о безопасности передовых моделей SB 1047, а в отсутствие комплексных федеральных норм в отношении ИИ Калифорния остаётся ведущей штатной площадкой регулирования ИИ.

Критики, в том числе Роберт Бойкин, исполнительный директор технологической отраслевой организации TechNet, утверждают, что обязательное участие клиницистов может задержать получение помощи, поскольку графства сталкиваются с нехваткой специалистов по поведенческому здравоохранению.

«В условиях, когда каждое графство Калифорнии испытывает нехватку работников поведенческого здравоохранения, SB 903 по-прежнему ставит „узкое место“ в лице клинициста перед инструментами первичного приёма и скрининга, которые помогают пациентам быстрее получить помощь», — заявил Бойкин некоммерческому изданию CalMatters.

Прогресс законопроекта приходится на период растущей обеспокоенности влиянием ИИ на психическое здоровье. В июне опрос Американской психологической ассоциации показал, что 77% психологов имели пациентов, использовавших ИИ в целях, связанных с психическим здоровьем, а исследователи из Королевского колледжа Лондона, Евангелического университета прикладных наук и Городского университета Нью-Йорка установили, что чат-боты могут усиливать бредовые состояния за счёт чрезмерного согласия и персонализированных ответов. Внимание законодателей к компаньонским чат-ботам также обострили иски к Character.AI, чьими ролевыми ботами широко пользуются подростки: в них утверждается, что продукт способствовал гибели несовершеннолетних в результате самоубийства; с тех пор компания добавила функции безопасности для пользователей младше 18 лет.

«Склонность ИИ-чат-ботов соглашаться с мнениями пользователей сравнивают с эхо-камерами социальных сетей, а в самой крайней форме — с „эхо-камерой одного человека“, где отсутствует позитивное корректирующее влияние реального социального взаимодействия», — пишут исследователи.