Dwóch amerykańskich senatorów wysłało list do kierownictwa TikToka, domagając się odpowiedzi w sprawie eksperymentu, który firma przeprowadziła, odmawiając milionom użytkowników dostępu do funkcji bezpieczeństwa — w tym nastolatkowi, który zmarł w wyniku samobójstwa. Ustawodawcy, współsponsorzy projektu ustawy o bezpieczeństwie dzieci w internecie, nazwali decyzję TikToka o przeprowadzeniu testu „nikczemną”.

Istnienie eksperymentu, szczegółowo opisanego w poufnym dokumencie spółki z 2023 roku, zostało w tym miesiącu opisane przez Bloomberg Businessweek. Ujawnienie to skłoniło do wysłania w środę listu przez republikankę, senator Marshę Blackburn z Tennessee, oraz demokratę z Connecticut Richarda Blumenthala do prezesa TikTok Inc. Shou Chewa oraz Adama Pressera, prezesa amerykańskiego wydzielonego podmiotu firmy.

„Piszemy w związku z odrażającymi nowymi doniesieniami, że TikTok świadomie wstrzymał krytyczny środek bezpieczeństwa dla milionów amerykańskich użytkowników — w tym dzieci — aby ustalić, czy ochrona użytkowników wpłynęłaby na finansowy wynik końcowy spółki” — tak zaczynał się czterostronicowy list. Ujawnienia z materiału Businessweek, jak napisali senatorowie, „stawiają poważne pytania o powtarzane przez TikToka zapewnienia wobec Kongresu, rodziców i amerykańskiej opinii publicznej, że priorytetem jest bezpieczeństwo i dobro młodych ludzi, a nie zysk”.

Dokument TikToka — przekazany w postępowaniu sądowym przeciwko największym światowym firmom mediów społecznościowych i objęty pieczęcią na podstawie nakazu sądu — pokazuje, że spółka celowo wyłączyła algorytmiczne zabezpieczenie dla 10% użytkowników w USA, tworząc z nich grupę kontrolną. Zabezpieczenie miało rozbijać internetowe bańki wzmacniające szkodliwe treści. W tamtym czasie ta grupa kontrolna liczyła około 15 milionów osób. Losowe wstrzymanie funkcji dla części użytkowników — grupy kontrolnej — jest standardową metodą używaną przez platformy technologiczne do mierzenia, czy zmiany wpływają na kluczowe wskaźniki. W tej sprawie praktyka ta budzi jednak szczególne kontrowersje, ponieważ wstrzymana funkcja była zabezpieczeniem bezpieczeństwa, a nie zmianą projektową, a wśród objętych nią osób byli nieletni.

Jedną z nich był 16-letni Chase Nasca z Bayport w stanie Nowy Jork. Jak wynika z dokumentu, jego konto było zasypywane tysiącami filmów o smutku, beznadziei, samotności i samobójstwie aż do chwili jego śmierci. Chase został losowo wybrany do eksperymentu algorytmicznego 25 stycznia 2022 roku. W ciągu miesiąca nie żył.

Dokument wyjaśnia, dlaczego konto Chase’a otrzymywało — jak to ujęto — „nawałnicę” mrocznych treści: „Strategie TikToka zapobiegające tworzeniu baniek filtrujących nie zadziałały na tego użytkownika zgodnie z założeniem projektu”. Wskazuje też, dlaczego spółka wyłączyła to ustawienie bezpieczeństwa u części użytkowników: „Decyzja o wpływie na użytkownika była delikatnym wyważeniem między bezpieczeństwem a możliwością zmierzenia wpływu na DAU (dzienną liczbę aktywnych użytkowników) i kluczowe wskaźniki”.

TikTok nie odpowiedział na prośbę o komentarz w sprawie listu. Jednak w oświadczeniu przygotowanym na potrzeby materiału Businessweek rzecznik TikToka powiedział, że spółka jest „głęboko zaangażowana w bezpieczeństwo i dobro użytkowników”, zwłaszcza nastolatków. „Nasze serca pękają z bólu dla każdej rodziny, która doświadczyła tragicznej straty” — powiedział rzecznik. „Aby pomagać chronić naszą społeczność, nadal znacząco inwestujemy w Trust & Safety, w tym w zaawansowane systemy wykrywania i wyspecjalizowane zespoły egzekwujące zasady, które proaktywnie usuwają treści naruszające nasze Community Guidelines”.

W swoim liście Blumenthal i Blackburn zwrócili uwagę, że Kongres od października 2021 roku, jeszcze przed uruchomieniem eksperymentu przez spółkę, zgłaszał obawy, iż algorytm TikToka kieruje młodych użytkowników ku szkodliwym treściom. Ujawnienia — jak napisali senatorowie — „są jeszcze bardziej niepokojące, ponieważ TikTok był uprzedzony o skutkach swoich algorytmów rekomendacyjnych dla dzieci”.

Senatorowie zażądali odpowiedzi na 13 pytań, w tym nazw każdego pracownika poinformowanego o eksperymencie; wyjaśnienia, dlaczego spółka dopuściła udział nieletnich w teście; szczegółów dotyczących tego, kiedy kierownictwo dowiedziało się o eksperymencie; oraz „pełnej, nieocenzurowanej wersji” dokumentu opisanego przez Businessweek. Poprosili też o listę każdego eksperymentu algorytmicznego w USA, w którym TikTok „wstrzymał, wyłączył, opóźnił lub ograniczył funkcję bezpieczeństwa”, wraz z liczbą zaangażowanych użytkowników i liczbą nieletnich. Senatorowie dali spółce czas do 1 września na odpowiedź.

„Fakt, że zrobili to świadomie i wykorzystali swoich użytkowników jako eksperyment, wydaje się czymś niewyobrażalnym” — powiedziała Blackburn w wywiadzie po publikacji materiału Businessweek, ale przed wysłaniem listu. „To pokazuje, że kiedy nasze dzieci są na tych platformach społecznościowych — są produktem”.

Dla Blackburn eksperyment jest wyraźnym przykładem spółki, która stawia „zarabianie pieniędzy i przyciąganie uwagi” ponad bezpieczeństwo. „Wystarczy spojrzeć na fakt, że był to pogodny 16-letni chłopiec bez problemów ze zdrowiem psychicznym, a następnie, w tym krótkim okresie, skutki podawania mu film za filmem i wpis za wpisem o depresji i samobójstwie oraz to, co zrobiło to temu dziecku. To przerażające — i platformy te muszą za to ponosić odpowiedzialność” — powiedziała.

Republikański kongresmen z Florydy Gus Bilirakis podzielił obawy Blackburn w oświadczeniu pisemnym, stwierdzając, że raport był głęboko niepokojący i pokazywał „niszczycielskie konsekwencje, jakie mogą wystąpić, gdy metryki zaangażowania i zyski korporacyjne są stawiane ponad bezpieczeństwem i dobrem naszych dzieci”. Podczas przesłuchania w marcu 2023 roku, kilka tygodni po sporządzeniu poufnego dokumentu, Bilirakis pytał prezesa TikToka Chewa o Chase’a Nascę i powiedział: „Wasza technologia dosłownie prowadzi do śmierci”. Chew odpowiedział, że firma traktuje te kwestie „bardzo poważnie” i zapewnia zasoby dotyczące zdrowia psychicznego użytkownikom, którzy szukają treści o samobójstwie.

Bilirakis i Blackburn stwierdzili, że amerykańskie rodziny zbyt długo czekały na ochronę dzieci w internecie, i wezwali do przyspieszenia prac nad ustawami dotyczącymi bezpieczeństwa dzieci. Blackburn promuje Kids Online Safety Act (KOSA), projekt ustawy Senatu, który współtworzyła z Blumenthalem, aby zmusić platformy technologiczne do stawiania bezpieczeństwa dzieci ponad zyskami. Ustawa upadła w Izbie Reprezentantów w 2024 roku, ale została ponownie wniesiona w tej sesji legislacyjnej. Bilirakis wspierał Kids Internet and Digital Safety (KIDS) Act, który obejmuje większość zapisów senackiego projektu, a także przepisy dotyczące chatbotów AI i gier wideo. W czerwcu projekt przeszedł w Izbie Reprezentantów.

W wersji przyjętej przez Izbę z projektu usunięto tzw. provision duty-of-care z wersji senackiej, która zmuszałaby firmy technologiczne do zachowania należytej staranności, aby zapobiegać szkodom psychicznym u nieletnich — w tym lękowi, depresji i kompulsywnemu korzystaniu z produktów mediów społecznościowych. Przepis ten usunięto z powodu obaw związanych z Pierwszą Poprawką. Ponieważ ustawa musi przejść przez obie izby w identycznej formie, ten zapis dotyczący duty-of-care stanowi główną różnicę, którą ustawodawcy musieliby rozstrzygnąć między wersją przyjętą przez Izbę a wersją senacką przy ewentualnym ostatecznym prawie o bezpieczeństwie dzieci.

5 sierpnia, dzień po publikacji materiału Businessweek, senacka Komisja ds. Handlu, Nauki i Transportu zagłosowała za procedowaniem pierwotnego, odnowionego KOSA, z zachowanym zapisem duty-of-care. Jak powiedziała Blackburn w wywiadzie, ten przepis pomógłby zapobiec podobnym eksperymentom w przyszłości, ponieważ platformy mediów społecznościowych musiałyby priorytetowo traktować bezpieczeństwo w projektowaniu swoich produktów, zwłaszcza dla nastolatków. Zakończenie prac w komisji jest etapem, który zwykle poprzedza rozpatrzenie projektu przez pełny Senat.