Разработчик под ником hashfunction загрузил метаданные примерно 5,6 млрд публичных видео TikTok в open-source репозиторий Hugging Face, где их можно бесплатно скачать по некоммерческой лицензии. Набор данных, опубликованный под аккаунтом datasocial, охватывает период с июля 2014 года по октябрь 2026 года.

Релиз содержит метаданные, а не видеозаписи. Каждая строка включает описание видео, хэштеги, идентификатор звука, текст на экране, идентификаторы товаров и продавцов TikTok Shop, а также количество просмотров, лайков, комментариев, репостов, сохранений и скачиваний. Весь архив весит 460 ГБ и хранится в файлах Parquet, по одному на каждый месяц. Такой объём скромен для корпуса такого масштаба — следствие того, что он содержит метаданные, а не видео, — а структура «один файл на месяц» удобна для анализа по времени.

Некоторые поля отражают собственные метки TikTok, например, помечено ли видео как созданное ИИ и скрывает ли платформа его из ленты «Для вас». Метка ИИ часто отсутствует у более старых записей, которые происходят из архива, — этот пробел ограничивает любой анализ, опирающийся на неё за ранние годы.

Доступ к набору данных не ограничен: его может скачать любой, без заявки, одобрения или институциональной принадлежности. Счётчик Hugging Face показал 1 181 скачивание на данный момент. Данные также доступны онлайн через datasocial.ai.

Значение релиза в том, что такие данные нужны AI-разработчикам, а TikTok затрудняет их получение. Описания, хэштеги, идентификаторы звуков и показатели вовлеченности миллиардов постов — это сырьё для моделей, предсказывающих, что станет вирусным или что будет продаваться в TikTok Shop, какие слова и фразы срабатывают, а какие нет, а также для языковых моделей, изучающих, как люди пишут в коротких видео.

Официальный путь TikTok к таким данным значительно уже. Его Research Tools открыты для квалифицированных исследователей академических учреждений в регионах, включая США, ЕЭП, Великобританию, Канаду и Швейцарию, а также для некоторых некоммерческих организаций ЕС, и требуют заявки и одобрения — критерии, которые оставляют коммерческих AI-разработчиков без официального пути к сопоставимым данным.

Масштабный сбор данных платформа не разрешает. Раздел 3.4 американских условий обслуживания TikTok запрещает извлечение данных с платформы автоматизированным программным обеспечением без письменного одобрения TikTok.

Согласно описанию DataSocial, данных осуществлялся через приватный мобильный API TikTok с использованием сгенерированных идентификаторов устройств, выдававших себя за Android-телефоны, обратно спроектированных подписей запросов и поддельного TLS-рукопожатия. В описании говорится, что система собрала 3,23 млрд профилей авторов, 5,94 млрд видео и 2,8 млрд комментариев за три недели, и что вход в аккаунт не использовался.

Бесплатный уровень выполняет и роль витрины. Лицензия CC BY-NC 4.0 разрешает распространение и адаптацию данных с указанием авторства при условии некоммерческого использования, а карточка набора описывает его как бесплатный для исследований и личного использования. Лицензия такого рода регулирует повторное использование файлов; она отделена от условий обслуживания TikTok, которые регулируют способ сбора данных. Коммерческое использование, профили авторов и ежедневные обновления перенаправляются на datasocial.ai, где также продаётся исходный код скрапера за 1 699 долларов.

Споры вокруг скрапинга уже рассматриваются в судах. Reddit подал в суд на Perplexity и три фирмы по сбору данных в октябре 2025 года, утверждая, что те вели «промышленный масштаб» сбора его контента для обучения ИИ, как сообщал Decrypt. В июле федеральный судья в основном отказался отклонить дело, по данным Law360. Уцелевшие требования включают обвинения по DMCA в том, что SerpApi обходила антибот-защиту Google. TikTok не является стороной дела, и оно касается скрапинга через результаты поиска Google, а не приватного мобильного API, то есть его исход не будет напрямую определять юридический статус этой коллекции.

Что касается самого набора данных, строки включают описания, использованную музыку и различные поля меток. Колонки с ником автора нет, хотя данные содержат описания, хэштеги и упомянутых в видео людей. Однако идентификатор пользователя доступен через Datasocial.

У этой сокровищницы данных уже есть «сосед». Копии отдельного набора из 4,5 млрд видео, также описанного как собранного из мобильного API TikTok, тоже есть на Hugging Face, бесплатно для некоммерческого использования. Код, которым он был собран, стоит 1 699 долларов.