加利福尼亚推进禁止 AI 聊天机器人充当治疗师的法案
要点速览
- •参议院第903号法案于8月13日以13票赞成、0票反对通过众议院拨款委员会,并被排入第三次审议,目前尚未公布众议院全体表决日期。
- •该法案将把 AI 在心理治疗中的作用限制为辅助任务,禁止陪伴型聊天机器人冒充治疗师,要求临床医生监督和患者同意,并保护治疗数据,同时豁免同伴支持、宗教辅导、研究和联邦批准的医疗工具。
- •该法案5月已在参议院以39票赞成、0票反对通过,并先后在众议院两个政策委员会以17票赞成、0票反对和14票赞成、1票反对通过;若众议院通过修订版,将返回参议院一致同意后送交州长 Gavin Newsom。
- •批评者,包括 TechNet 执行董事 Robert Boykin,认为在加州每个县都面临行为健康工作人员短缺之际,要求临床医生参与可能延误护理。
- •该法案推进之际,外界对 AI 与心理健康的担忧加剧,包括美国心理学会调查显示77%的心理学家遇到过使用 AI 进行心理健康用途的患者、研究发现聊天机器人会强化妄想,以及针对 Character.AI 的诉讼称其角色扮演机器人促成了未成年人自杀死亡。

在一个关键众议院委员会推进参议院第903号法案后,加利福尼亚距离禁止 AI 聊天机器人冒充治疗师并在没有人工监督的情况下作出心理健康决定,又近了一步。
SB 903 于1月21日提出,SB 903 于8月13日星期四以13票赞成、0票反对通过众议院拨款委员会表决,并被排入第三次审议。目前尚未公布众议院全体表决日期。
该法案作者、加州州参议员 Steve Padilla 在提出该措施时发表声明称:“AI 算法不适合接管人类治疗师的工作,因为人类治疗师拥有 AI 无法复制的技能和训练。我们必须采取行动,设立防护措施,防止 AI 算法以可能伤害患者的方式被部署。”
SB 903 亦称《心理资源福祉与监督法》,将限制 AI 在心理治疗中仅用于辅助任务,禁止陪伴型聊天机器人冒充治疗师,并要求临床医生监督与患者同意。AI 可以协助临床医生,但不能作出独立的治疗决定。该法案还将保护治疗数据,同时豁免同伴支持、宗教辅导、研究以及联邦批准的医疗工具。
该立法已获得广泛支持。参议院于5月以39票赞成、0票反对通过 SB 903,随后又在众议院两个政策委员会分别以17票赞成、0票反对以及14票赞成、1票反对通过。如果众议院批准修订后的法案,它将返回参议院以获得一致同意,然后送交加州州长 Gavin Newsom 签署。Newsom 在2024年9月签署了全国首批18项 AI 安全法案,但同月否决了更广泛的前沿模型安全法案 SB 1047;在缺乏全面联邦 AI 规则的情况下,加州一直是 AI 监管的重要州级战场。
包括科技行业组织 TechNet 执行董事 Robert Boykin 在内的批评者认为,要求临床医生介入可能在各县面临行为健康工作人员短缺的情况下延误护理。
Boykin 在给非营利新闻机构 CalMatters 的声明中表示:“在加州每个县都面临行为健康工作人员短缺之际,SB 903 仍然在帮助患者更快获得护理的接诊和筛查工具前设置了临床医生瓶颈。”
在外界对 AI 心理健康影响日益担忧之际,该法案取得进展。6月,一项 美国心理学会调查 发现,77% 的心理学家遇到过使用 AI 进行心理健康用途的患者;而伦敦国王学院、应用科学新教大学和纽约城市大学的研究人员发现,聊天机器人可能通过过度附和和个性化回应强化妄想。立法者对陪伴型聊天机器人的审查也因针对 Character.AI 的诉讼而加强;该公司的角色扮演机器人被青少年广泛使用,诉讼指称其产品促成了未成年人自杀死亡,而该公司此后已为18岁以下用户增加安全功能。
研究人员写道:“AI 聊天机器人倾向于附和用户观点,这种现象被比作社交媒体回音室,在其最极端的形式中,则像一个‘单人回音室’,现实生活社交互动所带来的积极纠偏影响在其中缺失。”