「堕落した」安全実験をめぐりブラックバーン氏とブルーメンソール氏がTikTokに回答を要求
重要ポイント
- •社外秘文書によると、TikTokは対照群を構成するため、米国ユーザーの10%(約1,500万人)のアルゴリズムによる安全装置を無効化していた。
- •この実験には未成年者が含まれており、対象者の1人だった16歳のチェイス・ナスカさんのアカウントは、彼が自ら命を絶つ前、大量の有害なコンテンツを受け取り続けたとされる。
- •マーシャ・ブラックバーン、リチャード・ブルーメンソール両上院議員はTikTokに書簡を送り、13項目の質問への回答と9月1日までの回答を求めた。
- •TikTokは以前の声明で、ユーザーの安全に深く注力しており、トラスト&セーフティの施策や執行に投資していると述べている。
- •報道が公開された後、上院商務委員会は注意義務条項を維持した復活版Kids Online Safety Act(KOSA)を前進させた。

米国の上院議員2人がTikTokの経営陣に書簡を送り、同社が実施した、数百万人のユーザーに安全機能を提供しなかった実験について回答を求めた。対象には自ら命を絶った10代の少年も含まれていた。オンライン上の子どもの安全に関する法案の共同提出者である両議員は、このテストを実施したTikTokの決定を「堕落している」と非難した。
2023年の社外秘の社内文書に詳述されていたこの実験の存在は、今月、Bloomberg Businessweekによって報じられた。この開示を受け、テネシー州選出の共和党上院議員マーシャ・ブラックバーン氏とコネチカット州選出の民主党上院議員リチャード・ブルーメンソール氏は水曜日、TikTok Inc.の最高経営責任者(CEO)である周受資(ショウ・チュー)氏と、同社の米国分社のCEOであるアダム・プレッサー氏あてに書簡を送った。
「私たちは、TikTokが、ユーザーの保護が財務上の損益に影響を与えるかどうかを確かめる目的で、子どもたちを含む数百万人の米国ユーザーから重要な安全策を知りながら提供しなかったという不快な新たな報道について書簡を送るものです」——4ページに及ぶ書簡はこう書き出されている。両議員は、Businessweekの記事が明らかにした「ぞっとする」内容について、「若者の安全と福祉を利益より優先するというTikTokが議会、保護者、米国世論に繰り返してきた保証に深刻な疑問を投げかける」と記した。
世界最大級のソーシャルメディア企業に対する訴訟で提出され、裁判所命令により封印されていたTikTokの文書によると、同社は米国ユーザーの10%についてアルゴリズムによる安全装置を意図的に無効化し、彼らを対照群としていた。この安全装置は、有害コンテンツのオンライン上のエコーチェンバーを解消するために設計されたものだった。当時、この対照群は約1,500万人に相当した。一部のユーザーを対照群として無作為に機能を提供しないことは、テクノロジープラットフォームが変更が主要指標に与える影響を測定するために用いる標準的な手法である。この事例が精査を招いているのは、提供されなかった機能がデザインの調整ではなく安全装置であったこと、そして対象の中に未成年者が含まれていたためである。
そのうちの1人が、ニューヨーク州ベイポート在住の16歳のチェイス・ナスカさんだった。文書によると、彼のアカウントには、彼が自ら命を絶つ直前まで、悲しみ、絶望、孤独、自殺を扱う数千本の動画が配信され続けた。チェイスさんは2022年1月25日、アルゴリズム実験の対象として無作為に選ばれた。1か月も経たないうちに、彼は亡くなった。
この文書は、彼のアカウントが「闇のコンテンツ」の「集中砲火」を受けた理由について、「TikTokのフィルターバブル防止戦略は、設計上このユーザーには効果を発揮しなかった」と説明している。また、一部のユーザーの安全設定を無効にした同社の理由についても、「ユーザーへの影響に関する決定は、安全性と、DAU(1日あたりのアクティブユーザー数)および主要指標への影響を測定する能力との間で微妙なバランスを取ったものだった」と記している。
TikTokはこの書簡に関するコメント依頼には応じなかった。ただし、Businessweekの記事向けに提供された声明の中で、TikTokの広報担当者は、同社は「ユーザーの安全と福祉に深く注力している」、とりわけ10代のユーザーに対してそうだと述べた。「悲劇的な喪失を経験されたすべてのご家族に対し、心よりお悔やみ申し上げます」と同担当者は述べ、「コミュニティを守るため、コミュニティガイドラインに違反するコンテンツを積極的に削除する堅牢な検出システムや専任の執行チームを含む、トラスト&セーフティ(信頼と安全)分野への大幅な投資を続けています」と付け加えた。
書簡の中で、ブルーメンソール氏とブラックバーン氏は、議会が2021年10月以降、つまり同社がこの実験を開始する前から、TikTokのアルゴリズムが若いユーザーを有害コンテンツへ誘導していることへの懸念を示していたと指摘した。両議員は、今回明らかになった内容について、「TikTokが推薦アルゴリズムが子どもに与える影響について警告を受けていただけに、さらに悪質なものとなっている」と記した。
両上院議員は13項目の質問への回答を求めた。具体的には、実験の存在を知らされたすべての従業員の名前、同社が未成年者のテストへの参加を認めた理由の説明、経営幹部が実験を把握した時期の詳細、そしてBusinessweekが報じた文書の「完全かつ黒塗りされていない版」などである。また、TikTokが米国内で「安全機能を提供しなかった、無効にした、遅らせた、または縮小した」すべてのアルゴリズム実験の一覧と、関与したユーザー数、そのうちの未成年者数についても求めた。両議員は同社に対し、9月1日までの回答を求めた。この期限は、裁判所命令により封印されたままの文書から、同社が何を開示するのか(開示するとして)のタイムラインを定めるものとなる。
「彼らがこれを知りながら行い、自社のユーザーを実験対象として扱ったという事実は、まさに考えられないことです」とブラックバーン氏は、Businessweekの記事公開後で書簡送付前に行われたインタビューで述べた。「私たちの子どもたちがこうしたソーシャルメディアプラットフォームを利用しているとき、彼ら自身が商品なのだということが分かります。」
ブラックバーン氏にとって、この実験は、安全性よりも「金もうけと注目の獲得」を優先した企業の明白な例である。「この子は心の健康に関する問題を何も抱えていない、明るい16歳の少年でした。それがこの短い期間に、うつや自殺に関する動画を次から次へと、投稿を次から次へと見せ続けたことが、この子に何をもたらしたのか。恐ろしいことです。そして、こうしたプラットフォームはこれについて責任を問われなければなりません」と彼女は述べた。
フロリダ州選出の共和党下院議員ガス・ビリラキス氏も声明文でブラックバーン氏の懸念に同調し、この報道は極めて憂慮すべきもので、「エンゲージメント指標や企業利益が子どもたちの安全と福祉より優先された場合に生じうる破滅的な結果」を示したと述べた。2023年3月、社外秘文書が作成されてから数週間後の公聴会で、ビリラキス氏はTikTokのチューCEOをチェイス・ナスカさんについて追及し、「あなたの技術は文字どおり死につながっています」と述べていた。これに対しチュー氏は、同社はこうした問題を「非常に真剣に」受け止めており、自殺に関するコンテンツを検索するユーザーにメンタルヘルス関連のリソースを提供していると答えた。
ビリラキス氏とブラックバーン氏はともに、米国の家族は子どものオンラインでの保護を長く待ちすぎていると述べ、子どもの安全に関する法案を迅速に審議するよう求めた。ブラックバーン氏は、テクノロジー企業に利益よりも子どもの安全を優先させることを義務付ける、ブルーメンソール氏との共同起草による上院法案「Kids Online Safety Act(KOSA)」を推進している。同法案は2024年に下院で廃案となったが、今会期で再提出された。ビリラキス氏は、上院法案の大部分に加え、AIチャットボットやビデオゲームに関する法律を含む「Kids Internet and Digital Safety(KIDS)Act」を主導した。同法案は6月に下院を通過した。
下院法案からは、上院版に含まれていた、いわゆる「注意義務(duty of care)」条項が削除された。この条項は、不安、うつ、ソーシャルメディア製品の強迫的な利用など、未成年者のメンタルヘルス上の被害を防ぐため、テクノロジー企業に相当の注意を払うことを義務付けるものだった。この条項は、憲法修正第1条(表現の自由)への懸念から削除された。法律は両院で同一の内容で可決される必要があるため、最終的な子どもの安全法を成立させるには、注意義務条項をめぐる下院可決法案と上院版の相違を議員らが解決する必要があり、これが主要な争点となっている。
8月5日、Businessweekの記事公開の翌日、上院商務・科学・運輸委員会は、注意義務条項を維持したまま、復活させた元の形のKOSAを前進させることを採決で決めた。ブラックバーン氏はインタビューで、この条項があれば、ソーシャルメディアプラットフォームは特に10代向けに製品設計で安全性を優先することが義務付けられるため、今回のような実験の再発防止に役立るだろうと述べた。委員会での承認は、通常、法案が上院本会議で審議される前の段階である。