カリフォルニア州は、アセンブリの主要委員会が上院法案903(Senate Bill 903)を承認したことで、AIチャットボットがセラピストを装うことや、人間の監督なしにメンタルヘルスに関する決定を下すことを禁じる方針に一歩近づいた。

1月21日に提出されたSB 903は、8月13日木曜日にアセンブリ歳出委員会で13対0の票決により承認され、第三読会に付されることが決まった。アセンブリ本会議での採決日はまだ発表されていない。

「AIアルゴリズムは、人間のセラピストの仕事を引き受けるには適していません。人間のセラピストは、AIには複製できない技能と訓練を備えているからです」と、法案提出者であるカリフォルニア州上院議員スティーブ・パディラは、同法案の提出時に出した声明の中で述べた。「我々は行動し、AIアルゴリズムが患者にとって潜在的に有害な形で展開されるのを防ぐ安全策を講じなければなりません」

「心理的リソースに関するウェルネスおよび監督法」の名称でも知られるSB 903は、心理療法におけるAIを支援業務に限定し、コンパニオンチャットボットがセラピストを装うことを禁じ、臨床家による監督と患者の同意を義務付ける。AIは臨床家を支援できるが、独自に治療上の決定を下すことはできない。また同法案は治療データを保護する一方で、ピアサポート、宗教的カウンセリング、研究、および連邦政府の承認を受けた医療ツールは適用除外とする。

同法案は幅広い支持を得て進められてきた。上院は5月に39対0でSB 903を可決し、その後アセンブリの2つの政策委員会でも17対0および14対1で承認された。修正版がアセンブリで可決されれば、カリフォルニア州のギャビン・ニューサム知事の署名に移る前に、上院に戻って同意が求められる。ニューサム知事は2024年9月に全国初となる18本のAI安全法案のパッケージに署名した一方、同月にはより広範なフロンティアモデル安全法案であるSB 1047を拒否権で廃案としており、包括的な連邦レベルのAI規則が存在しない中、カリフォルニア州はAI監督をめぐる主要な州レベルの舞台であり続けている。

テクノロジー業界団体TechNetのエグゼクティブディレクターであるロバート・ボイキンら批評家は、臨床家の関与を義務付けることで、各郡が行動医療従事者の不足に直面する中、治療へのアクセスが遅れる可能性があると主張する。

「カリフォルニア州のすべての郡が行動医療従事者の不足に直面している今、SB 903は、患者がより迅速に治療へたどり着くのを助ける受け付けおよびスクリーニングツールの前に、臨床家というボトルネックを置くものです」とボイキンは、非営利ニュース媒体CalMattersに向けて声明の中で語った。

同法案の進展は、AIがメンタルヘルスに及ぼす影響への懸念が高まる中で実現している。6月には、アメリカ心理学会の調査により、心理学者の77%がメンタルヘルス目的でAIを利用する患者を抱えていることが明らかになった。また、キングス・カレッジ・ロンドン、プロテスタント応用科学大学、ニューヨーク市立大学の研究者らは、チャットボットが過度な同意とパーソナライズされた応答を通じて妄想を強化しうることを発見した。コンパニオンチャットボットに対する議員たちの監視の目は、Character.AIに対する訴訟によっても一層鋭くなっている。同社のロールプレイボットは10代の若者に広く利用されており、これらの訴訟では同製品が未成年の自殺による死亡に寄与したと主張されている。同社はその後、18歳未満のユーザー向けに安全機能を追加している。

「AIチャットボットがユーザーの意見に同意する傾向は、SNSのエコーチェンバーに、そして最も極端な形では『一人だけのエコーチェンバー』に例えられてきました。そこでは、現実の社会的相互作用による肯定的な是正の影響が欠如しています」と研究者らは記している。