Dos senadores de Estados Unidos enviaron una carta a los ejecutivos de TikTok exigiendo respuestas sobre un experimento que la empresa realizó y en el que le retuvo una función de seguridad a millones de usuarios, entre ellos un adolescente que murió por suicidio. Los legisladores, copatrocinadores de un proyecto de ley sobre seguridad infantil en línea, calificaron de “depravada” la decisión de TikTok de llevar a cabo la prueba.

La existencia del experimento, descrita en detalle en un documento confidencial de la empresa de 2023, fue reportada este mes por Bloomberg Businessweek. La revelación motivó la carta enviada el miércoles por la senadora republicana por Tennessee, Marsha Blackburn, y el demócrata por Connecticut, Richard Blumenthal, al director general de TikTok Inc., Shou Chew, y a Adam Presser, CEO de la filial estadounidense de la empresa.

“Escribimos en relación con nuevos reportes asquerosos que indican que TikTok retuvo a sabiendas una medida de seguridad crítica para millones de usuarios estadounidenses —incluidos niños— con el fin de determinar si proteger a los usuarios afectaría su resultado financiero”, comienza la carta de cuatro páginas. Las revelaciones “escalofriantes” del reportaje de Businessweek, escribieron los senadores, “plantean serias dudas sobre las reiteradas garantías de TikTok al Congreso, los padres y el público estadounidense de que prioriza la seguridad y el bienestar de los jóvenes por encima de las ganancias”.

El documento de TikTok —entregado como parte de un litigio contra las mayores empresas de redes sociales del mundo y colocado bajo sello judicial— muestra que la empresa desactivó intencionalmente una salvaguarda algorítmica para el 10% de los usuarios estadounidenses, convirtiéndolos en un grupo de control. La salvaguarda estaba diseñada para romper las cámaras de eco en línea de contenido dañino. En ese momento, ese grupo de control equivalía a aproximadamente 15 millones de personas. Retener aleatoriamente una función a un segmento de usuarios —un grupo de control— es un método estándar que las plataformas tecnológicas utilizan para medir si los cambios mueven sus métricas principales. La práctica ha generado escrutinio en este caso porque la función retenida era una salvaguarda de seguridad y no un ajuste de diseño, y porque el grupo afectado incluía a menores.

Uno de ellos fue Chase Nasca, de 16 años, de Bayport, Nueva York. Según el documento, su cuenta recibió miles de videos sobre tristeza, desesperanza, soledad y suicidio hasta que se quitó la vida. Chase fue seleccionado aleatoriamente para el experimento algorítmico el 25 de enero de 2022. En menos de un mes, había muerto.

El documento explica por qué su cuenta recibió lo que describió como un “bombardeo” de contenido oscuro: “Las estrategias de prevención de burbujas de filtro de TikTok no surtieron efecto en este usuario por diseño”. También expone el razonamiento de la empresa para desactivar la configuración de seguridad en algunos usuarios: “La decisión sobre el impacto en el usuario fue un equilibrio delicado entre la seguridad y la capacidad de medir el impacto en los DAU (usuarios activos diarios) y las métricas principales”.

TikTok no respondió a una solicitud de comentarios sobre la carta. Sin embargo, en una declaración proporcionada para el reportaje de Businessweek, un portavoz de TikTok afirmó que la empresa está “profundamente comprometida con la seguridad y el bienestar de los usuarios”, en especial de los adolescentes. “Se nos parte el corazón por cualquier familia que haya sufrido una pérdida trágica”, dijo el portavoz. “Para ayudar a proteger a nuestra comunidad, seguimos invirtiendo significativamente en Trust & Safety, incluidos sistemas de detección robustos y equipos dedicados de aplicación que eliminan de manera proactiva el contenido que viola nuestras Normas de la Comunidad”.

En su carta, Blumenthal y Blackburn señalaron que el Congreso había manifestado preocupación desde octubre de 2021 por el algoritmo de TikTok que dirigía a los usuarios jóvenes hacia contenido dañino, antes de que la empresa lanzara el experimento. Las revelaciones, escribieron los senadores, “adquieren un carácter aún más siniestro porque TikTok ya había sido advertida sobre los efectos de sus algoritmos de recomendación en los niños”.

Los senadores exigieron respuestas a 13 preguntas, entre ellas los nombres de todos los empleados informados sobre el experimento; una explicación de por qué la empresa permitió que menores fueran incluidos en la prueba; detalles sobre cuándo se enteraron los ejecutivos del experimento; y una “versión completa y sin censurar” del documento reportado por Businessweek. También pidieron una lista de todos los experimentos algorítmicos en Estados Unidos en los que TikTok haya “retenido, desactivado, retrasado o reducido una función de seguridad”, junto con el número de usuarios involucrados y cuántos de ellos eran menores. Los senadores dieron a la empresa como plazo el 1 de septiembre para responder. Ese plazo fija el calendario de lo que la empresa divulgue, si es que divulga algo, de un documento que permanece bajo sello judicial.

“El hecho de que hayan hecho esto a sabiendas y de que hayan usado a sus usuarios como un experimento es algo que simplemente parece inconcebible”, dijo Blackburn en una entrevista realizada después de la publicación del reportaje de Businessweek pero antes del envío de la carta. “Nos muestra que cuando nuestros hijos están en estas plataformas de redes sociales, ellos son el producto”.

Para Blackburn, el experimento es un claro ejemplo de una empresa que antepone “hacer dinero y captar la atención” a la seguridad. “Miren que se trataba de un niño de 16 años, feliz y sin problemas de salud mental, y luego, en este corto período de tiempo, el impacto de suministrar video tras video tras video y publicación tras publicación tras publicación sobre depresión y suicidio, y lo que eso le hizo a este niño. Es aterrador, y esto es algo de lo que estas plataformas deben responder”, declaró.

El representante republicano por Florida, Gus Bilirakis, hizo eco de las preocupaciones de Blackburn en una declaración escrita, afirmando que el reporte era profundamente inquietante y demostraba las “consecuencias devastadoras que pueden ocurrir cuando las métricas de interacción y las ganancias corporativas se priorizan por encima de la seguridad y el bienestar de nuestros hijos”. Durante una audiencia en marzo de 2023, semanas después de que se creara el documento confidencial, Bilirakis había cuestionado al CEO de TikTok, Chew, sobre Chase Nasca y le dijo: “Su tecnología está llevando literalmente a la muerte”. Chew respondió que la empresa toma estos asuntos “muy en serio” y que proporciona recursos de salud mental a los usuarios que buscan contenido sobre suicidio.

Tanto Bilirakis como Blackburn afirmaron que las familias estadounidenses han esperado demasiado tiempo protecciones para los niños en línea y pidieron agilizar la tramitación de los proyectos de ley sobre seguridad infantil. Blackburn impulsa la Kids Online Safety Act (KOSA), un proyecto de ley del Senado que redactó junto con Blumenthal para obligar a las plataformas tecnológicas a priorizar la seguridad infantil por encima de las ganancias. El proyecto de ley murió en la Cámara de Representantes en 2024, pero fue reintroducido en esta sesión legislativa. Bilirakis defendió la Kids Internet and Digital Safety (KIDS) Act, que incluye la mayor parte del proyecto del Senado, así como normas sobre chatbots de inteligencia artificial y videojuegos. Fue aprobada en la Cámara en junio.

El proyecto de la Cámara eliminó de la versión del Senado una denominada disposición de deber de cuidado, que habría obligado a las empresas tecnológicas a ejercer un cuidado razonable para prevenir daños a la salud mental de los menores, incluidos la ansiedad, la depresión y el uso compulsivo de productos de redes sociales. La disposición fue eliminada debido a preocupaciones relacionadas con la Primera Enmienda. Dado que la legislación debe aprobarse en ambas cámaras en forma idéntica, la disposición del deber de cuidado es la principal diferencia que los legisladores tendrían que resolver entre el proyecto aprobado por la Cámara y la versión del Senado para cualquier ley final de seguridad infantil.

El 5 de agosto, un día después de la publicación del reportaje de Businessweek, el Comité de Comercio, Ciencia y Transporte del Senado votó para hacer avanzar el KOSA original reinstaurado, con la disposición del deber de cuidado intacta. Esa disposición, dijo Blackburn en la entrevista, ayudaría a prevenir futuros experimentos como este porque las plataformas de redes sociales estarían obligadas a priorizar la seguridad en el diseño de sus productos, especialmente para los adolescentes. La aprobación en comisión es el paso que normalmente antecede a la consideración de un proyecto de ley por el Senado en pleno.