Due senatori statunitensi hanno inviato una lettera ai dirigenti di TikTok chiedendo spiegazioni su un esperimento condotto dall’azienda che ha negato una funzione di sicurezza a milioni di utenti — incluso un adolescente morto per suicidio. I legislatori, co-sponsor di un disegno di legge sulla sicurezza online dei minori, hanno definito “depravata” la decisione di TikTok di condurre il test.

L’esistenza dell’esperimento, descritta in dettaglio in un documento aziendale confidenziale del 2023, è stata riportata questo mese da Bloomberg Businessweek. La rivelazione ha portato alla lettera inviata mercoledì dalla senatrice repubblicana Marsha Blackburn del Tennessee e dal democratico del Connecticut Richard Blumenthal a Shou Chew, amministratore delegato di TikTok Inc., e ad Adam Presser, amministratore delegato della divisione statunitense della società.

“Scriviamo in merito a disgustose nuove notizie secondo cui TikTok ha consapevolmente trattenuto una misura di sicurezza fondamentale per milioni di utenti americani — inclusi i bambini — al fine di determinare se la protezione degli utenti avrebbe avuto un impatto sul proprio risultato economico”, si legge nell’incipit della lettera di quattro pagine. Le rivelazioni “sconcertanti” del servizio di Businessweek, hanno scritto i senatori, “sollevano seri interrogativi sulle ripetute assicurazioni di TikTok al Congresso, ai genitori e al pubblico americano, secondo cui la piattaforma dà priorità alla sicurezza e al benessere dei giovani rispetto al profitto”.

Il documento di TikTok — consegnato nell’ambito di un contenzioso contro le maggiori società di social media al mondo e sottoposto a sigillo giudiziario — mostra che l’azienda ha intenzionalmente disattivato una salvaguardia algoritmica per il 10% degli utenti statunitensi, trasformandoli in un gruppo di controllo. La salvaguardia era progettata per interrompere le camere dell’eco online di contenuti dannosi. All’epoca, quel gruppo di controllo avrebbe rappresentato circa 15 milioni di persone. Sottrarre casualmente una funzione a una parte degli utenti — un gruppo di controllo — è un metodo standard che le piattaforme tecnologiche usano per misurare se le modifiche influenzano le metriche principali. In questo caso la pratica ha attirato particolare attenzione perché la funzione trattenuta era una misura di sicurezza e non una semplice modifica di design, e perché il bacino interessato includeva minori.

Uno di loro era Chase Nasca, 16 anni, di Bayport, New York. Secondo il documento, il suo account è stato alimentato con migliaia di video su tristezza, disperazione, solitudine e suicidio fino al momento in cui si è tolto la vita. Chase fu selezionato casualmente per l’esperimento algoritmico il 25 gennaio 2022. Nel giro di un mese, era morto.

Il documento spiega perché il suo account abbia ricevuto quello che definisce un’“ondata” di contenuti oscuri: “Le strategie di prevenzione della filter bubble di TikTok non sono entrate in vigore su questo utente per progettazione”. E afferma anche la motivazione dell’azienda per aver disattivato l’impostazione di sicurezza per alcuni utenti: “La decisione sull’impatto per l’utente è stata un delicato equilibrio tra sicurezza e capacità di misurare l’impatto su DAU (utenti attivi giornalieri) e metriche principali”.

TikTok non ha risposto a una richiesta di commento sulla lettera. Tuttavia, in una dichiarazione per il servizio di Businessweek, un portavoce di TikTok ha affermato che l’azienda è “profondamente impegnata nella sicurezza e nel benessere degli utenti”, soprattutto degli adolescenti. “Il nostro cuore è spezzato per ogni famiglia che abbia vissuto una perdita tragica”, ha detto il portavoce. “Per contribuire a proteggere la nostra comunità, continuiamo a investire in modo significativo in Trust & Safety, inclusi solidi sistemi di rilevamento e team dedicati all’enforcement che rimuovono proattivamente i contenuti che violano le nostre Community Guidelines”.

Nella loro lettera, Blumenthal e Blackburn hanno osservato che il Congresso aveva espresso preoccupazioni sul fatto che l’algoritmo di TikTok spingesse i giovani verso contenuti dannosi già da ottobre 2021 — prima che l’azienda avviasse l’esperimento. Le rivelazioni, hanno scritto i senatori, “appaiono ancora più sinistre perché TikTok era stata messa al corrente degli effetti dei propri algoritmi di raccomandazione sui bambini”.

I senatori hanno chiesto risposte a 13 domande, inclusi i nomi di ogni dipendente informato dell’esperimento; una spiegazione del motivo per cui l’azienda abbia consentito l’inclusione di minori nel test; dettagli su quando i dirigenti hanno saputo dell’esperimento; e una “versione completa e non redatta” del documento riportato da Businessweek. Hanno inoltre chiesto un elenco di ogni esperimento algoritmico negli Stati Uniti in cui TikTok abbia “trattenuto, disabilitato, ritardato o ridotto una funzione di sicurezza”, il numero di utenti coinvolti e quanti fossero minorenni. I senatori hanno dato all’azienda tempo fino al 1° settembre per rispondere.

“Il fatto che abbiano fatto questo consapevolmente e che abbiano usato i loro utenti come esperimento è qualcosa che sembra semplicemente inconcepibile”, ha detto Blackburn in un’intervista dopo la pubblicazione dell’articolo di Businessweek ma prima dell’invio della lettera. “Ti mostra come, quando i nostri figli sono su queste piattaforme social, siano loro il prodotto”.

Per Blackburn, l’esperimento è un esempio chiaro di un’azienda che privilegia il “fare soldi e catturare l’attenzione” rispetto alla sicurezza. “Guardate il fatto che si trattava di un ragazzo felice di 16 anni senza problemi di salute mentale e poi, in questo breve lasso di tempo, l’effetto di alimentarlo con video dopo video dopo video e post dopo post dopo post su depressione e suicidio e ciò che questo ha fatto a questo bambino. È spaventoso — e questo è qualcosa di cui queste piattaforme devono essere ritenute responsabili”, ha detto.

Il rappresentante repubblicano della Florida Gus Bilirakis ha condiviso le preoccupazioni di Blackburn in una dichiarazione scritta, affermando che il rapporto era profondamente inquietante e mostrava le “conseguenze devastanti che possono verificarsi quando le metriche di engagement e i profitti aziendali vengono prioritizzati rispetto alla sicurezza e al benessere dei nostri bambini”. Durante un’audizione nel marzo 2023, settimane dopo la creazione del documento confidenziale, Bilirakis aveva interrogato l’amministratore delegato di TikTok Chew su Chase Nasca e gli aveva detto: “La vostra tecnologia sta letteralmente portando alla morte”. Chew aveva risposto che l’azienda prende questi temi “molto seriamente” e fornisce risorse per la salute mentale agli utenti che cercano contenuti sul suicidio.

Bilirakis e Blackburn hanno entrambi affermato che le famiglie americane hanno aspettato troppo a lungo tutele per i minori online e hanno chiesto che i disegni di legge sulla sicurezza dei minori vengano accelerati. Blackburn sostiene il Kids Online Safety Act (KOSA), un disegno di legge del Senato che ha co-firmato con Blumenthal per costringere le piattaforme tecnologiche a dare priorità alla sicurezza dei minori rispetto ai profitti. Il provvedimento è morto alla Camera nel 2024 ma è stato ripresentato in questa sessione legislativa. Bilirakis ha promosso il Kids Internet and Digital Safety (KIDS) Act, che include la maggior parte del disegno di legge del Senato, oltre a norme per chatbot IA e videogiochi. È stato approvato alla Camera a giugno.

Il testo della Camera ha eliminato la cosiddetta disposizione duty-of-care dalla versione del Senato, che avrebbe obbligato le aziende tecnologiche a esercitare una ragionevole diligenza per prevenire danni alla salute mentale dei minori — inclusi ansia, depressione e uso compulsivo dei prodotti social media. La disposizione è stata rimossa per preoccupazioni legate al Primo Emendamento. Poiché la legislazione deve passare in entrambe le camere in forma identica, la disposizione duty-of-care è la principale differenza che i legislatori dovrebbero risolvere tra il testo approvato dalla Camera e la versione del Senato per qualsiasi legge finale sulla sicurezza dei minori.

Il 5 agosto, il giorno dopo la pubblicazione del servizio di Businessweek, la Commissione del Senato per Commercio, Scienza e Trasporti ha votato per far avanzare la versione originale e rilanciata del KOSA, con la disposizione duty-of-care intatta. Quella disposizione, ha detto Blackburn nell’intervista, aiuterebbe a prevenire futuri esperimenti come questo perché le piattaforme social sarebbero tenute a dare priorità alla sicurezza nella progettazione dei propri prodotti, soprattutto per gli adolescenti. Superare il passaggio in commissione è il passo che di solito precede l’esame di un disegno di legge da parte dell’intero Senato.