Deux sénateurs américains ont adressé une lettre aux dirigeants de TikTok pour exiger des explications sur une expérience menée par l'entreprise, qui a privé des millions d'utilisateurs d'une fonctionnalité de sécurité — parmi eux, un adolescent décédé par suicide. Les élus, cosignataires d'un projet de loi sur la sécurité des enfants en ligne, ont qualifié de « dépravée » la décision de TikTok de mener ce test.

L'existence de cette expérience, décrite en détail dans un document confidentiel de l'entreprise datant de 2023, a été révélée ce mois-ci par Bloomberg Businessweek. Cette révélation a motivé la lettre envoyée mercredi par la sénatrice républicaine du Tennessee Marsha Blackburn et par le démocrate du Connecticut Richard Blumenthal à Shou Chew, directeur général de TikTok Inc., ainsi qu'à Adam Presser, PDG de la filiale américaine de l'entreprise.

« Nous écrivons au sujet de nouveaux rapports répugnants selon lesquels TikTok a sciemment privé des millions d'utilisateurs américains — dont des enfants — d'une mesure de sécurité cruciale, afin de déterminer si la protection des utilisateurs aurait une incidence sur sa rentabilité », débute la lettre de quatre pages. Les révélations « consternantes » de l'article de Businessweek, écrivent les sénateurs, « soulèvent de sérieuses interrogations sur les assurances répétées données par TikTok au Congrès, aux parents et au public américain quant à la priorité qu'elle accorde à la sécurité et au bien-être des jeunes par rapport au profit ».

Le document de TikTok — remis dans le cadre d'un procès contre les plus grandes entreprises de réseaux sociaux au monde et placé sous scellés judiciaires — montre que l'entreprise a intentionnellement désactivé un dispositif algorithmique de protection pour 10 % des utilisateurs américains, en faisant d'eux un groupe témoin. Ce dispositif était conçu pour briser les chambres d'écho en ligne de contenus nuisibles. À l'époque, ce groupe témoin représentait environ 15 millions de personnes. Priver de manière aléatoire une partie des utilisateurs d'une fonctionnalité — un groupe témoin — est une méthode standard qu'utilisent les plateformes technologiques pour mesurer si des changements influencent leurs indicateurs clés. Cette pratique a suscité des critiques dans ce cas précis, car la fonctionnalité retirée était un dispositif de sécurité et non un simple ajustement de conception, et parce que le groupe concerné incluait des mineurs.

Parmi eux figurait Chase Nasca, 16 ans, originaire de Bayport, dans l'État de New York. Selon le document, son compte a reçu des milliers de vidéos traitant de tristesse, de désespoir, de solitude et de suicide, et ce jusqu'à ce qu'il se suicide. Chase avait été sélectionné au hasard pour l'expérience algorithmique le 25 janvier 2022. Un mois plus tard, il était mort.

Le document explique pourquoi son compte a subi ce qu'il qualifie de « déluge » de contenus sombres : « Les stratégies de prévention des bulles de filtre de TikTok n'ont pas été appliquées à cet utilisateur, par conception. » Il expose également la justification de l'entreprise pour avoir désactivé le paramètre de sécurité pour certains utilisateurs : « La décision relative à l'impact sur les utilisateurs relevait d'un équilibre délicat entre la sécurité et la capacité à mesurer l'impact sur les DAU (utilisateurs actifs quotidiens) et les indicateurs clés. »

TikTok n'a pas répondu à une demande de commentaire concernant la lettre. Dans un communiqué fourni pour l'article de Businessweek, un porte-parole de TikTok a toutefois déclaré que l'entreprise était « profondément attachée à la sécurité et au bien-être des utilisateurs », en particulier des adolescents. « Nos cœurs se brisent pour toute famille ayant vécu une perte tragique », a affirmé le porte-parole. « Afin de protéger notre communauté, nous continuons d'investir massivement dans le Trust & Safety (confiance et sécurité), notamment dans des systèmes de détection robustes et des équipes de modération dédiées qui suppriment de manière proactive les contenus violant nos directives communautaires. »

Dans leur lettre, Blumenthal et Blackburn ont souligné que le Congrès exprimait des préoccupations concernant l'algorithme de TikTok orientant les jeunes utilisateurs vers des contenus nuisibles depuis octobre 2021 — avant même que l'entreprise ne lance l'expérience. Ces révélations, écrivent les sénateurs, « sont d'autant plus sinistres que TikTok avait été averti des effets de ses algorithmes de recommandation sur les enfants ».

Les sénateurs ont exigé des réponses à 13 questions, notamment les noms de tous les employés informés de l'expérience ; une explication des raisons pour lesquelles l'entreprise a autorisé l'inclusion de mineurs dans le test ; des précisions sur le moment où les dirigeants ont eu connaissance de l'expérience ; ainsi qu'une « version complète et non caviardée » du document rapporté par Businessweek. Ils ont également demandé la liste de toutes les expériences algorithmiques menées aux États-Unis dans le cadre desquelles TikTok a « retenu, désactivé, retardé ou réduit une fonctionnalité de sécurité », ainsi que le nombre d'utilisateurs concernés et le nombre de mineurs parmi eux. Les sénateurs ont donné à l'entreprise jusqu'au 1er septembre pour répondre. Ce délai fixe le calendrier de ce que l'entreprise divulguera — ou non — d'un document qui demeure sous scellés judiciaires.

« Le fait qu'ils aient fait cela en toute connaissance de cause et qu'ils aient utilisé leurs utilisateurs comme sujets d'expérience est tout simplement inconcevable », a déclaré Mme Blackburn dans une interview accordée après la publication de l'article de Businessweek mais avant l'envoi de la lettre. « Cela montre que lorsque nos enfants se trouvent sur ces plateformes de réseaux sociaux — ce sont eux, les produits. »

Pour Mme Blackburn, cette expérience constitue un exemple flagrant d'une entreprise privilégiant « gagner de l'argent et capter l'attention » au détriment de la sécurité. « Regardez les faits : il s'agissait d'un garçon de 16 ans heureux, sans aucun trouble de santé mentale, et puis, sur ce court laps de temps, l'impact de la diffusion de vidéo après vidéo et de publication après publication de contenus sur la dépression et le suicide, et ce que cela a fait à cet enfant. C'est effrayant — et c'est quelque chose pour quoi ces plateformes doivent rendre des comptes », a-t-elle déclaré.

Le représentant républicain de Floride Gus Bilirakis a fait écho aux préoccupations de Mme Blackburn dans un communiqué écrit, affirmant que le rapport était profondément troublant et mettait en évidence les « conséquences dévastatrices qui peuvent survenir lorsque les métriques d'engagement et les profits des entreprises sont privilégiés au détriment de la sécurité et du bien-être de nos enfants ». Lors d'une audition en mars 2023, quelques semaines après la création du document confidentiel, M. Bilirakis avait interrogé le PDG de TikTok, M. Chew, au sujet de Chase Nasca et lui avait déclaré : « Votre technologie conduit littéralement à la mort. » M. Chew avait répondu que l'entreprise prenait ces questions « très au sérieux » et fournissait des ressources d'aide en santé mentale aux utilisateurs recherchant des contenus liés au suicide.

M. Bilirakis et Mme Blackburn ont tous deux estimé que les familles américaines attendaient depuis trop longtemps des protections pour les enfants en ligne et ont réclamé un traitement accéléré des projets de loi sur la sécurité des enfants. Mme Blackburn fait la promotion du Kids Online Safety Act (KOSA), un texte sénatorial qu'elle a co-écrit avec M. Blumenthal pour contraindre les plateformes technologiques à faire passer la sécurité des enfants avant les profits. Ce projet de loi a échoué à la Chambre des représentants en 2024, mais il a été réintroduit au cours de la session législative en cours. M. Bilirakis a défendu le Kids Internet and Digital Safety (KIDS) Act, qui reprend l'essentiel du texte sénatorial ainsi que des dispositions sur les chatbots d'IA et les jeux vidéo. Il a été adopté par la Chambre en juin.

Le texte adopté par la Chambre a supprimé une disposition dite de « devoir de vigilance » (duty of care) présente dans la version du Sénat, qui aurait obligé les entreprises technologiques à exercer une vigilance raisonnable pour prévenir les atteintes à la santé mentale des mineurs — notamment l'anxiété, la dépression et l'utilisation compulsive des produits de réseaux sociaux. Cette disposition a été retirée en raison de préoccupations liées au Premier amendement. La législation devant être adoptée en des termes identiques par les deux chambres, la disposition sur le devoir de vigilance constitue la principale divergence que les législateurs devront résoudre entre le texte voté par la Chambre et la version du Sénat pour parvenir à une loi définitive sur la sécurité des enfants.

Le 5 août, lendemain de la publication de l'article de Businessweek, la commission sénatoriale du commerce, des sciences et des transports a voté pour faire avancer le KOSA original réintroduit, disposition sur le devoir de vigilance incluse. Cette disposition, a indiqué Mme Blackburn dans l'interview, contribuerait à prévenir de futures expériences de ce type, car les plateformes de réseaux sociaux seraient tenues de privilégier la sécurité dans la conception de leurs produits, en particulier pour les adolescents. L'adoption en commission est l'étape qui précède généralement l'examen d'un texte par le Sénat en séance plénière.