Twee Amerikaanse senatoren hebben een brief gestuurd aan de leiding van TikTok met de eis om opheldering over een experiment dat het bedrijf uitvoerde en waarbij een veiligheidsfunctie werd onthouden aan miljoenen gebruikers — onder wie een tiener die door zelfmoord overleed. De wetgevers, mede-indieners van een wetsvoorstel voor online kinderbescherming, noemden TikToks beslissing om de test uit te voeren "verwerpelijk".

Het bestaan van het experiment, dat in detail wordt beschreven in een vertrouwelijk bedrijfsdocument uit 2023, werd deze maand gerapporteerd door Bloomberg Businessweek. Die onthulling leidde tot de brief die de republikeinse senator Marsha Blackburn uit Tennessee en de Democraat uit Connecticut, Richard Blumenthal, woensdag stuurden aan Shou Chew, chief executive officer van TikTok Inc., en aan Adam Presser, ceo van de Amerikaanse afsplitsing van het bedrijf.

"Wij schrijven naar aanleiding van weerzinwekkende nieuwe berichten dat TikTok bewust een cruciale veiligheidsmaatregel heeft onthouden aan miljoenen Amerikaanse gebruikers — onder wie kinderen — om vast te stellen of het beschermen van gebruikers gevolgen zou hebben voor de financiële onderlijn", aldus de aanhef van de brief van vier pagina's. De "schokkende" onthullingen uit het artikel in Businessweek, schreven de senatoren, "roepen ernstige vragen op bij de herhaalde verzekeringen van TikTok aan het Congres, ouders en het Amerikaanse publiek dat het de veiligheid en het welzijn van jongeren boven winst stelt".

Het TikTok-document — overlegd in een rechtszaak tegen de grootste socialemediabedrijven ter wereld en ondergebracht onder een door de rechter opgelegde geheimhouding — toont aan dat het bedrijf bewust een algoritmische beveiliging uitschakelde voor 10% van de Amerikaanse gebruikers, waardoor zij een controlegroep vormden. De beveiliging was ontworpen om online echokamers van schadelijke content te doorbreken. Destijds zou die controlegroep uit circa 15 miljoen mensen hebben bestaan. Het willekeurig onthouden van een functie aan een deel van de gebruikers — een controlegroep — is een standaardmethode waarmee techplatforms meten of aanpassingen de kerncijfers beïnvloeden. Deze praktijk is in dit geval kritisch gevolgd omdat de onthouden functie een veiligheidsmaatregel betrof in plaats van een ontwerpaanpassing, en omdat de getroffen groep minderjarigen omvatte.

Een van hen was de 16-jarige Chase Nasca uit Bayport, New York. Volgens het document werd zijn account tot aan zijn dood door zelfdoding gevoed met duizenden video's over verdriet, uitzichtloosheid, eenzaamheid en zelfmoord. Chase werd op 25 januari 2022 willekeurig geselecteerd voor het algoritme-experiment. Binnen een maand was hij dood.

Het document verklaart waarom zijn account te maken kreeg met wat het een "bombardement" aan duistere content noemt: "De strategieën van TikTok om filterbubbels te voorkomen waren bij deze gebruiker bewust niet van kracht." Ook geeft het de reden van het bedrijf waarom de veiligheidsinstelling voor sommige gebruikers werd uitgezet: "De beslissing over de gebruikersimpact was een zorgvuldige afweging tussen veiligheid en de mogelijkheid om het effect te meten op DAU (dagelijks actieve gebruikers) en kerncijfers."

TikTok reageerde niet op een verzoek om commentaar op de brief. In een verklaring voor het artikel in Businessweek zei een woordvoerder van TikTok echter dat het bedrijf zich "ten diepste inzet voor de veiligheid en het welzijn van gebruikers", vooral van tieners. "Onze harten breken voor elk gezin dat een tragisch verlies heeft geleden", aldus de woordvoerder. "Om onze community te beschermen blijven we aanzienlijk investeren in Trust & Safety, onder meer in robuuste detectiesystemen en speciale handhavingsteams die proactief content verwijderen die in strijd is met onze Community Guidelines."

In hun brief wezen Blumenthal en Blackburn erop dat het Congres sinds oktober 2021 zorgen had geuit over het feit dat het algoritme van TikTok jonge gebruikers naar schadelijke content leidde — nog voordat het bedrijf het experiment uitrolde. De onthullingen, schreven de senatoren, "komen nog sinisterder over omdat TikTok was gewaarschuwd voor de effecten van zijn aanbevelingsalgoritmes op kinderen".

De senatoren eisten antwoord op 13 vragen, waaronder de namen van alle medewerkers die van het experiment op de hoogte waren gebracht; een uitleg waarom het bedrijf toestond dat minderjarigen aan de test deelnamen; details over wanneer de leidinggevenden van het experiment hoorden; en een "volledige, ongezwarte versie" van het document waarover Businessweek berichtte. Zij vroegen daarnaast een lijst van alle algoritme-experimenten in de VS waarbij TikTok een veiligheidsfunctie heeft "onthouden, uitgeschakeld, vertraagd of verminderd", samen met het aantal betrokken gebruikers en hoeveel van hen minderjarig waren. De senatoren gaven het bedrijf tot 1 september de tijd om te reageren. Die termijn bepaalt binnen welke periode het bedrijf — indien het iets openbaar maakt — informatie vrijgeeft uit een document dat nog altijd onder een gerechtelijk opgelegde geheimhouding valt.

"Het feit dat ze dit bewust hebben gedaan en hun gebruikers als experiment hebben gebruikt, is simpelweg onvoorstelbaar", zei Blackburn in een interview dat plaatsvond nadat het artikel in Businessweek was verschenen, maar voordat de brief werd verstuurd. "Het laat zien dat wanneer onze kinderen op deze socialmediaplatforms zitten — zijzelf het product zijn."

Voor Blackburn is het experiment een duidelijk voorbeeld van een bedrijf dat "geld verdienen en aandacht vasthouden" boven veiligheid stelt. "Kijk naar het feit dat dit een gelukkige jongen van 16 was zonder psychische problemen, en dan, binnen deze korte periode, de impact van het gevoerd worden met video na video na video en post na post na post over depressie en zelfmoord, en wat dat met dit kind heeft gedaan. Het is beangstigend — en dit is iets waar deze platforms verantwoording voor moeten afleggen", zei ze.

Gus Bilirakis, republikeins afgevaardigde uit Florida, onderschreef Blackburns zorgen in een schriftelijke verklaring en zei dat het rapport zeer verontrustend was en de "verwoestende gevolgen liet zien die kunnen ontstaan wanneer interactiecijfers en bedrijfswinst boven de veiligheid en het welzijn van onze kinderen worden gesteld". Tijdens een hoorzitting in maart 2023, enkele weken nadat het vertrouwelijke document was opgesteld, had Bilirakis TikTok-ceo Chew al ondervraagd over Chase Nasca en hem gezegd: "Uw technologie leidt letterlijk tot de dood." Chew antwoordde dat het bedrijf deze kwesties "zeer serieus" neemt en gebruikers die op zelfmoordcontent zoeken bronnen biedt voor geestelijke gezondheid.

Bilirakis en Blackburn zeiden allebei dat Amerikaanse gezinnen veel te lang hebben gewacht op bescherming van kinderen online en pleitten ervoor om wetsvoorstellen voor kinderbescherming te versnellen. Blackburn zet zich in voor de Kids Online Safety Act (KOSA), een senaatsvoorstel dat zij samen met Blumenthal indiende om techplatforms te dwingen kinderbescherming boven winst te stellen. Het voorstel liep in 2024 dood in het Huis van Afgevaardigden, maar werd deze zittingsperiode opnieuw ingediend. Bilirakis voerde de Kids Internet and Digital Safety (KIDS) Act aan, die het grootste deel van het senaatsvoorstel omvat evenals wetgeving over AI-chatbots en videogames. Dat voorstel werd in juni door het Huis aangenomen.

Het voorstel van het Huis schrapte een zogenaamde zorgplichtbepaling uit de versie van de Senaat, die techbedrijven zou hebben verplicht tot redelijke zorg om psychische schade aan minderjarigen te voorkomen — waaronder angst, depressie en dwangmatig gebruik van socialmediaproducten. De bepaling werd geschrapt vanwege zorgen over het First Amendment. Omdat wetgeving in identieke vorm door beide kamers moet worden aangenomen, is de zorgplichtbepaling het voornaamste verschil dat wetgevers moeten oplossen tussen het door het Huis aangenomen voorstel en de senaatsversie wil er een definitieve wet voor kinderbescherming komen.

Op 5 augustus, de dag nadat het artikel in Businessweek verscheen, stemde de senaatscommissie voor Handel, Wetenschap en Transport vóór het verder behandelen van de oorspronkelijke, heringevoerde KOSA, met de zorgplichtbepaling intact. Die bepaling, zo zei Blackburn in het interview, zou helpen toekomstige experimenten als dit te voorkomen, omdat socialmediaplatforms verplicht zouden worden veiligheid voorop te stellen in het ontwerp van hun producten, met name voor tieners. Het aannemen in commissie is doorgaans de stap die voorafgaat aan de behandeling van een wetsvoorstel door de volledige Senaat.