Два американских сенатора направили письмо руководству TikTok с требованием дать объяснения по поводу эксперимента, в ходе которого компания утаила функцию безопасности от миллионов пользователей, включая подростка, покончившего с собой. Законодатели, являющиеся соавторами законопроекта о безопасности детей в интернете, назвали решение TikTok провести этот эксперимент «бесчеловечным».

О существовании эксперимента, подробно описанного в конфиденциальном внутреннем документе компании 2023 года, в этом месяце сообщило издание Bloomberg Businessweek. Раскрытие этих сведений побудило сенатора-республиканца от Теннесси Маршу Блэкбёрн и демократа от Коннектикута Ричарда Блюменталя в среду направить письмо генеральному директору TikTok Inc. Шоу Чжу и Адаму Прессеру, главе американской дочерней структуры компании.

«Мы пишем в связи с отвратительными новыми сообщениями о том, что TikTok сознательно утаивал критически важную меру безопасности от миллионов американских пользователей — включая детей — чтобы определить, повлияет ли защита пользователей на её финансовые показатели», — говорится в начале четырёхстраничного письма. По словам сенаторов, «возмутительные» разоблачения, о которых рассказала Businessweek, «вызывают серьёзные вопросы к повторявшимся заверениям TikTok в адрес Конгресса, родителей и американской общественности о том, что компания ставит безопасность и благополучие молодёжи выше прибыли».

Документ TikTok, переданный в ходе судебного разбирательства против крупнейших в мире социальных медиакомпаний и находящийся под судебным запретом на разглашение, показывает, что компания намеренно отключила алгоритмическую защиту для 10% пользователей из США, превратив их в контрольную группу. Эта защита была разработана для разрушения онлайновых «эхо-камер» с вредоносным контентом. На тот момент контрольная группа насчитывала около 15 миллионов человек. Случайное удержание функции у части пользователей — контрольной группы — является стандартным методом, который технологические платформы используют для оценки того, влияют ли изменения на ключевые показатели. В данном случае эта практика привлекла пристальное внимание, поскольку утаенной оказалась именно функция безопасности, а не изменение дизайна, и поскольку в число затронутых входили несовершеннолетние.

Одним из них был 16-летний Чейз Наска из Бэйпорта, штат Нью-Йорк. Согласно документу, его аккаунту вплоть до самоубийства показывали тысячи видеороликов о грусти, безнадёжности, одиночестве и суициде. Чейз был случайным образом включён в алгоритмический эксперимент 25 января 2022 года. Менее чем через месяц он погиб.

В документе объясняется, почему его аккаунт получал то, что в нём названо «нашествием» мрачного контента: «Стратегии TikTok по предотвращению „пузырей фильтров“ не действовали для этого пользователя намеренно». Там же указана причина, по которой компания отключила настройку безопасности для части пользователей: «Решение о влиянии на пользователей было тонким балансом между безопасностью и возможностью измерить влияние на DAU (ежедневных активных пользователей) и ключевые показатели».

TikTok не ответил на запрос о комментарии по поводу письма. Однако в заявлении, предоставленном для материала Businessweek, представитель TikTok сказал, что компания «глубоко привержена безопасности и благополучию пользователей», особенно подростков. «Наши сердца разрываются от каждой семьи, пережившей трагическую утрату», — сказал представитель. «Чтобы защитить наше сообщество, мы продолжаем значительно инвестировать в Trust & Safety, включая надёжные системы обнаружения и специализированные команды модерации, которые проактивно удаляют контент, нарушающий наши Правила сообщества».

В своём письме Блюменталь и Блэкбёрн отметили, что Конгресс выражал обеспокоенность тем, что алгоритм TikTok подталкивает молодых пользователей к вредоносному контенту, ещё с октября 2021 года — до того, как компания запустила эксперимент. Разоблачения, написали сенаторы, «выглядят ещё более зловеще, поскольку TikTok был предупреждён о влиянии его алгоритмов рекомендаций на детей».

Сенаторы потребовали ответов на 13 вопросов, включая имена всех сотрудников, информированных об эксперименте; объяснение того, почему компания допустила включение несовершеннолетних в тест; сведения о том, когда руководство узнало об эксперименте; а также «полную, неотредактированную версию» документа, о котором сообщила Businessweek. Они также запросили перечень всех алгоритмических экспериментов в США, в ходе которых TikTok «утаивал, отключал, откладывал или ослаблял функцию безопасности», с указанием числа вовлечённых пользователей и того, сколько из них были несовершеннолетними. Сенаторы дали компании срок до 1 сентября для ответа. Этот дедлайн определяет сроки того, что компания раскроет — если вообще что-то раскроет — из документа, который по-прежнему находится под судебным запретом на разглашение.

«То, что они сделали это сознательно и использовали своих пользователей в качестве эксперимента, кажется просто немыслимым», — сказала Блэкбёрн в интервью, данном после публикации материала Businessweek, но до отправки письма. «Это показывает: когда наши дети находятся в этих социальных сетях — они и есть продукт».

По мнению Блэкбёрн, эксперимент является наглядным примером того, как компания ставит «зарабатывание денег и захват внимания» выше безопасности. «Посмотрите на то, что это был счастливый 16-летний мальчик без проблем с психическим здоровьем, а затем, за такой короткий промежуток времени — влияние бесконечной подачи видео за видео и поста за постом о депрессии и суициде и то, что это сделало с ребёнком. Это пугает — и эти платформы должны нести за это ответственность», — сказала она.

Представитель-республиканец от Флориды Гас Билиракис в письменном заявлении поддержал обеспокоенность Блэкбёрн, назвав доклад глубоко тревожным и отметив, что он демонстрирует «разрушительные последствия, к которым может привести приоритет показателей вовлечённости и корпоративной прибыли над безопасностью и благополучием наших детей». На слушаниях в марте 2023 года, спустя несколько недель после создания конфиденциального документа, Билиракис задавал вопросы гендиректору TikTok Чжу о Чейзе Наске и сказал ему: «Ваша технология буквально ведёт к смерти». Чжу ответил, что компания относится к этим проблемам «очень серьёзно» и предоставляет ресурсы психологической поддержки пользователям, которые ищут контент о суициде.

Билиракис и Блэкбёрн заявили, что американские семьи слишком долго ждут защиты детей в интернете, и призвали ускорить принятие законопроектов о безопасности детей. Блэкбёрн продвигает Kids Online Safety Act (KOSA) — законопроект Сената, который она написала в соавторстве с Блюменталем, чтобы обязать технологические платформы ставить безопасность детей выше прибыли. В 2024 году законопроект не прошёл Палату представителей, но был внесён вновь в текущую сессию Конгресса. Билиракис поддержал Kids Internet and Digital Safety (KIDS) Act, включающий большую часть сенатского законопроекта, а также нормы, касающиеся ИИ-чат-ботов и видеоигр. В июне он был принят Палатой представителей.

Палата представителей исключила из сенатской версии так называемое положение об обязанности заботы (duty of care), которое обязало бы технологические компании проявлять разумную осмотрительность для предотвращения вреда психическому здоровью несовершеннолетних — включая тревожность, депрессию и компульсивное использование социальных сетей. Это положение было удалено из-за опасений, связанных с Первой поправкой к Конституции. Поскольку законодательство должно быть принято обеими палатами в идентичной форме, положение об обязанности заботы является главным расхождением, которое законодателям придётся урегулировать между принятым Палатой законопроектом и версией Сената для принятия итогового закона о безопасности детей.

5 августа, на следующий день после публикации материала Businessweek, комитет Сената по торговле, науке и транспорту проголосовал за продвижение первоначального, возрождённого KOSA с сохранённым положением об обязанности заботы. Это положение, как сказала Блэкбёрн в интервью, помогло бы предотвратить подобные эксперименты в будущем, поскольку социальные платформы были бы обязаны учитывать безопасность при проектировании своих продуктов, особенно для подростков. Принятие в комитете — это шаг, который обычно предшествует рассмотрению законопроекта всем составом Сената.