Zwei US-Senatoren haben in einem Schreiben an die Führung von TikTok Antworten zu einem Experiment des Unternehmens gefordert, bei dem Millionen Nutzern eine Sicherheitsfunktion vorenthalten wurde – darunter ein Teenager, der durch Suizid starb. Die Abgeordneten, Mitinitiatoren eines Gesetzentwurfs zur Sicherheit von Kindern im Internet, bezeichneten TikToks Entscheidung, den Test durchzuführen, als „verwerflich“.

Über die Existenz des Experiments, das in einem vertraulichen Unternehmensdokument aus dem Jahr 2023 detailliert beschrieben wird, berichtete in diesem Monat Bloomberg Businessweek. Die Enthüllung führte zu dem Schreiben, das die republikanische Senatorin Marsha Blackburn aus Tennessee und der Demokrat aus Connecticut, Richard Blumenthal, am Mittwoch an TikTok-CEO Shou Chew sowie an Adam Presser, den Chef der US-Abspaltung des Unternehmens, richteten.

„Wir schreiben angesichts neuer abscheulicher Berichte, wonach TikTok wissentlich eine entscheidende Schutzmaßnahme für Millionen amerikanischer Nutzer – darunter Kinder – vorenthalten hat, um festzustellen, ob der Schutz der Nutzer Auswirkungen auf das finanzielle Ergebnis hätte“, heißt es zu Beginn des vierseitigen Schreibens. Die „entsetzlichen“ Enthüllungen der Businessweek-Reportage, so die Senatoren, „stellen ernste Fragen an TikToks wiederholte Zusicherungen an den Kongress, die Eltern und die amerikanische Öffentlichkeit, dass das Unternehmen die Sicherheit und das Wohlergehen junger Menschen über den Profit stelle“.

Das TikTok-Dokument – das im Rahmen von Gerichtsverfahren gegen die größten Social-Media-Konzerne der Welt übergeben und unter gerichtlich angeordneter Verschlusssache gestellt wurde – zeigt, dass das Unternehmen eine algorithmische Schutzfunktion für 10 % der US-Nutzer gezielt deaktivierte und diese dadurch zu einer Kontrollgruppe machte. Die Schutzfunktion war darauf ausgelegt, online entstandene Echokammern schädlicher Inhalte aufzubrechen. Die Kontrollgruppe hätte zu diesem Zeitpunkt rund 15 Millionen Menschen umfasst. Das zufällige Vorenthalten einer Funktion für einen Teil der Nutzer – eine Kontrollgruppe – ist eine gängige Methode, mit der Tech-Plattformen messen, ob Veränderungen Kernkennzahlen beeinflussen. In diesem Fall steht die Praxis in der Kritik, weil es sich bei der vorenthaltenen Funktion um eine Sicherheitsmaßnahme und nicht um eine Designanpassung handelte und weil auch Minderjährige betroffen waren.

Einer von ihnen war der 16-jährige Chase Nasca aus Bayport im US-Bundesstaat New York. Seinem Konto wurden laut dem Dokument bis zu seinem Suizid Tausende Videos über Traurigkeit, Hoffnungslosigkeit, Einsamkeit und Suizid ausgespielt. Chase wurde am 25. Januar 2022 nach dem Zufallsprinzip für das Algorithmus-Experiment ausgewählt. Innerhalb eines Monats war er tot.

Das Dokument erklärt, warum sein Konto eine „Flut“ dunkler Inhalte erhielt: „TikToks Strategien zur Vermeidung von Filterblasen wurden bei diesem Nutzer bewusst nicht wirksam.“ Zudem führt es die Begründung des Unternehmens an, warum die Sicherheitseinstellung für einige Nutzer deaktiviert wurde: „Die Entscheidung über die Nutzerwirkung war ein Balanceakt zwischen Sicherheit und der Möglichkeit, Auswirkungen auf DAU (tägliche aktive Nutzer) und Kernkennzahlen zu messen.“

TikTok äußerte sich nicht auf eine Anfrage zu einer Stellungnahme zu dem Schreiben. In einer Stellungnahme zur Businessweek-Reportage erklärte jedoch ein TikTok-Sprecher, das Unternehmen sei „tief der Sicherheit und dem Wohlergehen der Nutzer verpflichtet“, insbesondere bei Jugendlichen. „Unser Herz blutet für jede Familie, die einen tragischen Verlust erlitten hat“, sagte der Sprecher. „Um unsere Community zu schützen, investieren wir weiterhin erheblich in Trust & Safety, einschließlich robuster Erkennungssysteme und spezialisierter Durchsetzungsteams, die proaktiv Inhalte entfernen, die gegen unsere Gemeinschaftsrichtlinien verstoßen.“

In ihrem Schreiben wiesen Blumenthal und Blackburn darauf hin, dass der Kongress seit Oktober 2021 – bevor das Unternehmen das Experiment einführte – Bedenken geäußert hatte, TikToks Algorithmus könnte junge Nutzer zu schädlichen Inhalten lenken. Die Enthüllungen, so die Senatoren, „erscheinen noch düsterer, weil TikTok über die Auswirkungen seiner Empfehlungsalgorithmen auf Kinder informiert war“.

Die Senatoren forderten Antworten auf 13 Fragen, darunter die Namen aller Mitarbeiter, die über das Experiment informiert waren; eine Erklärung, warum das Unternehmen die Einbeziehung von Minderjährigen in den Test zuließ; Details dazu, wann Führungskräfte von dem Experiment erfuhren; sowie eine „vollständige, ungeschwärzte Version“ des Dokuments, über das Businessweek berichtet hatte. Zudem verlangten sie eine Liste aller Algorithmus-Experimente in den USA, bei denen TikTok eine Sicherheitsfunktion „vorenthalten, deaktiviert, verzögert oder eingeschränkt“ hat, samt der Zahl der betroffenen Nutzer und Angaben dazu, wie viele davon minderjährig waren. Die Senatoren setzten dem Unternehmen eine Frist bis zum 1. September für eine Antwort. Diese Frist legt den Zeitrahmen dafür fest, was das Unternehmen – falls überhaupt – aus einem Dokument offenlegt, das weiterhin unter gerichtlich angeordneter Verschlusssache steht.

„Dass sie dies wissentlich getan haben und ihre Nutzer für ein Experiment benutzt haben, erscheint schlicht unvorstellbar“, sagte Blackburn in einem Interview, das nach Veröffentlichung der Businessweek-Reportage, aber vor Absendung des Schreibens geführt wurde. „Es zeigt, dass unsere Kinder auf diesen Social-Media-Plattformen die Produkte sind.“

Für Blackburn ist das Experiment ein klares Beispiel dafür, dass ein Unternehmen „Geldverdienen und das Einfangen von Aufmerksamkeit“ über die Sicherheit stellt. „Man bedenke, dass dies ein glücklicher 16-jähriger Junge ohne psychische Probleme war und dann, in diesem kurzen Zeitraum, die Wirkung von Video um Video und Beitrag um Beitrag über Depression und Suizid – und was das mit diesem Kind gemacht hat. Das ist erschreckend – und dafür müssen diese Plattformen zur Rechenschaft gezogen werden“, sagte sie.

Der republikanische Abgeordnete aus Florida, Gus Bilirakis, schloss sich in einer schriftlichen Erklärung Blackburns Bedenken an und erklärte, der Bericht sei zutiefst beunruhigend und zeige die „verheerenden Folgen, die entstehen können, wenn Engagement-Kennzahlen und Unternehmensgewinne über die Sicherheit und das Wohlergehen unserer Kinder gestellt werden“. Bei einer Anhörung im März 2023, wenige Wochen nachdem das vertrauliche Dokument erstellt worden war, hatte Bilirakis TikTok-CEO Chew zu Chase Nasca befragt und gesagt: „Ihre Technologie führt wörtlich zum Tod.“ Chew entgegnete, das Unternehmen nehme diese Themen „sehr ernst“ und stelle Nutzern, die nach Suizidinhalten suchen, Ressourcen zur psychischen Gesundheit bereit.

Bilirakis und Blackburn erklärten beide, amerikanische Familien hätten viel zu lange auf den Schutz von Kindern im Internet gewartet, und forderten eine beschleunigte Behandlung von Gesetzentwürfen zur Kindersicherheit. Blackburn setzt sich für den Kids Online Safety Act (KOSA) ein, einen Gesetzentwurf des Senats, den sie gemeinsam mit Blumenthal verfasst hat und der Tech-Plattformen dazu verpflichten soll, die Sicherheit von Kindern über Gewinne zu stellen. Der Entwurf scheiterte 2024 im Repräsentantenhaus, wurde in dieser Legislaturperiode jedoch erneut eingebracht. Bilirakis machte sich für den Kids Internet and Digital Safety (KIDS) Act stark, der weite Teile des Senatsentwurfs sowie Regelungen zu KI-Chatbots und Videospielen umfasst. Er wurde im Juni vom Repräsentantenhaus verabschiedet.

Der Entwurf des Repräsentantenhauses strich eine sogenannte Sorgfaltspflicht-Klausel aus der Version des Senats, die Tech-Unternehmen dazu verpflichtet hätte, angemessene Sorgfalt anzuwenden, um psychische Schäden bei Minderjährigen zu verhindern – darunter Angststörungen, Depressionen und der zwanghafte Gebrauch von Social-Media-Produkten. Die Klausel war aufgrund von Bedenken im Hinblick auf den First Amendment, den ersten Zusatzartikel der US-Verfassung, gestrichen worden. Da Gesetze von beiden Kammern in identischer Form verabschiedet werden müssen, ist die Sorgfaltspflicht-Klausel der wesentliche Unterschied, den die Abgeordneten zwischen dem vom Repräsentantenhaus verabschiedeten Entwurf und der Senatsversion für ein finales Gesetz zur Kindersicherheit klären müssten.

Am 5. August, einen Tag nach Veröffentlichung der Businessweek-Reportage, stimmte der Senatsausschuss für Handel, Wissenschaft und Verkehr dafür, den ursprünglichen, wieder eingebrachten KOSA mit unveränderter Sorgfaltspflicht-Klausel weiterzuleiten. Diese Klausel, so Blackburn in dem Interview, würde dazu beitragen, künftige Experimente wie dieses zu verhindern, weil Social-Media-Plattformen dann verpflichtet wären, die Sicherheit beim Design ihrer Produkte in den Vordergrund zu stellen – insbesondere für Jugendliche. Das Bestehen des Ausschusses ist der Schritt, der in der Regel der Befassung des gesamten Senats mit einem Gesetzentwurf vorausgeht.