AktualnościMakroDeweloper udostępnił metadane 5,6 miliarda filmów z TikToka na Hugging Face bezpłatnie na licencji niekomercyjnej

Deweloper udostępnił metadane 5,6 miliarda filmów z TikToka na Hugging Face bezpłatnie na licencji niekomercyjnej

Autor: Decrypt·

Najważniejsze informacje

  • •Zbiór danych 5,6 miliarda filmów obejmuje okres od lipca 2014 do października 2026 i zawiera metadane — podpisy, hasztagi, identyfikatory dźwięków, identyfikatory TikTok Shop i statystyki zaangażowania — a nie nagrania wideo.
  • •Jest dostępny bez ograniczeń na Hugging Face na niekomercyjnej licencji CC BY-NC 4.0, podczas gdy wykorzystanie komercyjne, profile twórców i codzienne aktualizacje są sprzedawane przez datasocial.ai, które pobiera 1699 dolarów za kod źródłowy scrapera.
  • •Oficjalne narzędzia badawcze TikToka są ograniczone do kwalifikujących się badaczy akademickich i niektórych organizacji non-profit, co pozostawia komercyjnych deweloperów AI bez zatwierdzonej ścieżki dostępu do porównywalnych danych, a regulamin platformy zabrania zautomatyzowanego scrapingu bez pisemnej zgody.
  • •Według opisu DataSocial zbieranie danych dotarło do prywatnego mobilnego API TikToka za pomocą wygenerowanych tożsamości urządzeń z Androidem, zmodyfikowanych wstecznie podpisów i sfalsyfikowanego handshake'a TLS, gromadząc 3,23 miliarda profili, 5,94 miliarda filmów i 2,8 miliarda komentarzy w ciągu trzech tygodni.
  • •Pozew Reddita przeciwko Perplexity i trzem firmom scrape'ującym dane w większości przetrwał wniosek o oddalenie, ale ponieważ dotyczy wyników wyszukiwania Google, a nie prywatnego mobilnego API, jego wynik nie rozstrzygnie bezpośrednio statusu prawnego tego zbioru danych z TikToka.
Deweloper udostępnił metadane 5,6 miliarda filmów z TikToka na Hugging Face bezpłatnie na licencji niekomercyjnej

Deweloper działający pod pseudonimem hashfunction przesłał metadane około 5,6 miliarda publicznych filmów z TikToka do otwartego repozytorium AI Hugging Face, gdzie można je bezpłatnie pobrać na licencji niekomercyjnej. Zbiór danych, opublikowany na koncie datasocial, obejmuje okres od lipca 2014 do października 2026.

Publikacja zawiera metadane, a nie nagrania wideo. Każdy wiersz obejmuje podpis filmu, hasztagi, identyfikator dźwięku, tekst na ekranie, identyfikatory produktów i sprzedawców TikTok Shop oraz liczbę wyświetleń, polubień, komentarzy, udostępnień, zapisów i pobrań. Całe archiwum waży 460 GB i jest zapisane jako pliki Parquet, po jednym na każdy miesiąc. To skromny rozmiar jak na tak wielki zbiór — skutek przechowywania metadanych zamiast wideo — a układ jednego pliku na miesiąc sprzyja analizom czasowym.

Niektóre pola odzwierciedlają własne oznaczenia TikToka, takie jak informacja, czy film jest oznaczony jako wygenerowany przez AI oraz czy platforma nie pokazuje go na stronie „Dla Ciebie”. Flaga AI jest często pusta dla starszych wpisów, które pochodzą z archiwum — luka ta ogranicza wszelkie analizy opierające się na tym oznaczeniu dla wcześniejszych lat.

Zbiór danych nie jest chroniony bramką, co oznacza, że każdy może go pobrać — bez wniosku, zgody czy przynależności instytucjonalnej. Licznik Hugging Face wskazał dotychczas 1181 pobrań. Zestaw jest także dostępny online przez datasocial.ai.

Ta publikacja ma znaczenie, ponieważ deweloperzy AI potrzebują takich danych, a TikTok utrudnia ich zdobycie. Podpisy, hasztagi, identyfikatory dźwięków i statystyki zaangażowania dla miliardów postów to surowiec dla modeli przewidujących, co stanie się viralowe, co sprzeda się na TikTok Shop, które słowa i frazy działają, a które nie, oraz dla modeli językowych uczących się, jak ludzie piszą w krótkich formatach wideo.

Oficjalna droga TikToka do takich danych jest znacznie węższa. Jego narzędzia badawcze są dostępne dla kwalifikujących się badaczy z instytucji akademickich w regionach obejmujących Stany Zjednoczone, EOG, Wielką Brytanię, Kanadę i Szwajcarię, a także niektórych organizacji non-profit w UE, i wymagają wniosku oraz zatwierdzenia — kryteria kwalifikacji, które pozostawiają komercyjnych deweloperów AI bez oficjalnej ścieżki dostępu do porównywalnych danych.

Szeroko zakrojony scraping danych nie jest dozwolony przez platformę. Sekcja 3.4 amerykańskiego regulaminu TikToka zabrania wyodrębniania danych z platformy za pomocą zautomatyzowanego oprogramowania, chyba że TikTok wyrazi na to pisemną zgodę.

Według opisu DataSocial zbieranie danych dotarło do prywatnego mobilnego API TikToka przy użyciu wygenerowanych tożsamości urządzeń podających się za telefony z Androidem, zmodyfikowanych wstecznie podpisów żądań oraz sfalsyfikowanego handshake'a TLS. Opis mówi, że system zebrał 3,23 miliarda profilów twórców, 5,94 miliarda filmów i 2,8 miliarda komentarzy w ciągu trzech tygodni, i że nie wykorzystano żadnego logowania ani konta.

Bezpłatny poziom pełni jednocześnie funkcję sklepu. Licencja to CC BY-NC 4.0, która pozwala na udostępnianie i adaptację danych z atrybucją, o ile wykorzystanie pozostaje niekomercyjne, a karta zbioru opisuje go jako darmowy do celów badawczych i osobistych. Taka licencja reguluje sposób ponownego wykorzystania plików; jest odrębna od regulaminu TikToka, który reguluje sposób zbierania danych. Wykorzystanie komercyjne, profile twórców i codzienne aktualizacje są kierowane do datasocial.ai, które sprzedaje również kod źródłowy scraper za 1699 dolarów.

Spory o scraping toczą się już na sali sądowej. Reddit pozwał Perplexity i trzy firmy zajmujące się scrapingiem danych w październiku 2025 roku, zarzucając „przemysłową skalę” schematu pozyskiwania jego treści do trenowania AI, jak raportował Decrypt. W lipcu federalny sędzia w większości odmówił oddia sprawy, według Law360. Utrzymane zarzuty obejmują twierdzenia z DMCA, że SerpApi ominął zabezpieczenia Google przed botami. TikTok nie jest stroną sporu, a sprawa dotyczy scrapingu przez wyniki wyszukiwania Google, a nie prywatnego mobilnego API, co oznacza, że jej wynik nie rozstrzygnie bezpośrednio statusu prawnego tego zbioru danych.

Co do samego zbioru danych, wiersze obejmują podpisy, wykorzystaną muzykę i różne pola oznaczeń. Nie ma kolumny z pseudonimem twórcy, choć dane zawierają podpisy, hasztagi i osoby wspomniane w filmach. Identyfikator użytkownika jest jednak dostępny przez Datasocial.

Ten skarbiec danych ma już towarzysza. Kopie osobnego zbioru 4,5 miliarda filmów, również opisywanego jako zebrane z mobilnego API TikToka, znajdują się także na Hugging Face, bezpłatnie do użytku niekomercyjnego. Kod, który go zebrał, kosztuje 1699 dolarów.