Een developer die opereert onder de naam hashfunction heeft metadata van ongeveer 5,6 miljard openbare TikTok-video's geüpload naar de open-source AI-repository Hugging Face, waar ze gratis te downloaden is onder een niet-commerciële licentie. De dataset, gepubliceerd onder het account datasocial, loopt van juli 2014 tot en met oktober 2026.

De publicatie bevat metadata en geen videomateriaal. Elke rij bevat het bijschrift van de video, hashtags, sound ID, tekst op het scherm, product- en verkopers-ID's van TikTok Shop, en cijfers voor weergaven, likes, reacties, shares, saves en downloads. Het volledige archief weegt 460 GB, opgeslagen als Parquet-bestanden, één per maand. Die omvang is bescheiden voor een corpus van deze schaal — een gevolg van het feit dat het metadata bevat en geen video — en de indeling van één bestand per maand leent zich goed voor tijdgebaseerde analyse.

Sommige velden weerspiegelen TikTok's eigen labels, zoals of een video is gemarkeerd als AI-gegenereerd en of het platform deze buiten de For You-pagina houdt. De AI-vlag is bij oudere items, die afkomstig zijn uit een archief, vaak leeg — een hiaat dat analyses die op dat label vertrouwen voor eerdere jaren beperkt.

De dataset is niet afgeschermd, wat betekent dat iedereen deze kan downloaden, zonder aanvraag, goedkeuring of institutionele affiliatie. De teller van Hugging Face liet tot nu toe 1.181 downloads zien. De dataset is ook online beschikbaar via datasocial.ai.

De publicatie is relevant omdat AI-ontwikkelaars dit soort data willen en TikTok het moeilijk toegankelijk heeft gemaakt. Bijschriften, hashtags, sound ID's en engagementcfers van miljarden posts zijn grondstof voor modellen die voorspellen wat viraal gaat of wat verkoopt op TikTok Shop, welke woorden en zinnen aanslaan en welke niet, en voor taalmodellen die leren hoe mensen schrijven in short-form video.

TikTok's officiële route naar dergelijke data is veel nauwer. De Research Tools van het platform staan open voor in aanmerking komende onderzoekers aan academische instellingen in regio's waaronder de Verenigde Staten, de EER, het Verenigd Koninkrijk, Canada en Zwitserland, plus enkele non-profitorganisaties in de EU, en vereisen een aanvraag en goedkeuring — toegangscriteria die commerciële AI-ontwikkelaars zonder officiële weg laten naar vergelijkbare data.

Brede datascraping is niet toegestaan op het platform. Artikel 3.4 van TikTok's Amerikaanse gebruiksvoorwaarden verbiedt het extraheren van gegevens van het platform met automatische software, tenzij TikTok dit schriftelijk goedkeurt.

Volgens DataSocial's beschrijving kreeg de verzameling toegang tot TikTok's privé-API voor mobiele apparaten met gegenereerde apparaatidentiteiten die als Android-telefoons doorgingen, omgekeerd-ontworpen verzoekhandtekeningen en een vervalste TLS-handshake. De beschrijving stelt dat het systeem in drie weken 3,23 miljard creatorprofielen, 5,94 miljard video's en 2,8 miljard reacties verzamelde, en dat er geen login of account aan te pas kwam.

De gratis versie dient tegelijk als etalage. De licentie is CC BY-NC 4.0, die het delen en aanpassen van de data met naamsvermelding toestaat zolang het gebruik niet-commercieel blijft, en de datasetkaart omschrijft deze als gratis voor onderzoek en persoonlijk gebruik. Een dergelijke licentie regelt hoe de bestanden hergebruikt mogen worden; die staat los van TikTok's gebruiksvoorwaarden, die regelen hoe de data is verzameld. Commercieel gebruik, creatorprofielen en dagelijkse updates worden doorverwezen naar datasocial.ai, dat ook de broncode van de scraper verkoopt voor $1.699.

Scraperingsgeschillen spelen zich al in de rechtszaal af. Reddit klaagde Perplexity en drie data-scrapingbedrijven aan in oktober 2025, met de beschuldiging van een "industrieel grootschalig" plan om zijn content te oogsten voor AI-training, zoals Decrypt meldde. In juli besloot een federale rechter de zaak grotendeels niet te seponeren, aldus Law360. De overgebleven vorderingen omvatten DMCA-aanklachten dat SerpApi Google's anti-botbeveiliging zou hebben omzeild. TikTok is geen partij in de zaak, en die zaak betreft scraping via Google-zoekresultaten in plaats van een privé-API voor mobiele apparaten, wat betekent dat de uitkomst de juridische status van deze verzameling niet direct zal beslechten.

Wat de dataset zelf betreft: de rijen bevatten bijschriften, gebruikte muziek en verschillende labelf velden. Er is geen kolom met creator-handles, al bevat de data wel bijschriften, hashtags en mensen die in video's worden genoemd. De user ID is echter beschikbaar via Datasocial.

De datapaar krijgt al gezelschap. Kopieën van een aparte set van 4,5 miljard video's, eveneens omschreven als verzameld via TikTok's mobiele API, staan ook op Hugging Face, gratis voor niet-commercieel gebruik. De code waarmee die is verzameld, kost $1.699.