NachrichtenMakroEntwickler veröffentlicht Metadaten von 5,6 Milliarden TikTok-Videos auf Hugging Face – kostenlos unter Non-Commercial-Lizenz

Entwickler veröffentlicht Metadaten von 5,6 Milliarden TikTok-Videos auf Hugging Face – kostenlos unter Non-Commercial-Lizenz

Autor: Decrypt·

Wichtige Erkenntnisse

  • •Der Datensatz mit 5,6 Milliarden Videos umfasst Juli 2014 bis Oktober 2026 und enthält Metadaten wie Untertitel, Hashtags, Sound-IDs, TikTok-Shop-Kennungen und Interaktionszahlen, jedoch keine Videodaten.
  • •Er ist auf Hugging Face ohne Zugangsbeschränkung unter der CC BY-NC 4.0 Non-Commercial-Lizenz verfügbar, während kommerzielle Nutzung, Creator-Profile und tägliche Updates über datasocial.ai verkauft werden, das 1.699 US-Dollar für den Quellcode des Scrapers verlangt.
  • •TikToks offizielle Research Tools sind qualifizierten akademischen und einigen gemeinnützigen Forschern vorbehalten, wodurch kommerziellen KI-Entwicklern ein genehmigter zu vergleichbaren Daten fehlt; die Nutzungsbedingungen untersagen automatisiertes Scraping ohne schriftliche Zustimmung.
  • •DataSocials Bericht zufolge gelangte die Sammlung über generierte Android-Geräteidentitäten, rückentwickelte Signaturen und einen gefälschten TLS-Handshake an TikToks private mobile API und sammelte in drei Wochen 3,23 Milliarden Profile, 5,94 Milliarden Videos und 2,8 Milliarden Kommentare.
  • •Reddits Klage gegen Perplexity und drei Scraping-Firmen überstand die Abweisung weitgehend, doch da sie Google-Suchergebnisse und nicht eine private mobile API betrifft, klärt ihr Ausgang die Rechtslage dieser TikTok-Sammlung nicht direkt.
Entwickler veröffentlicht Metadaten von 5,6 Milliarden TikTok-Videos auf Hugging Face – kostenlos unter Non-Commercial-Lizenz

Ein Entwickler unter dem Handle hashfunction hat Metadaten von rund 5,6 Milliarden öffentlichen TikTok-Videos in das Open-Source-KI-Repository Hugging Face hochgeladen, wo sie unter einer Non-Commercial-Lizenz kostenlos heruntergeladen werden können. Der unter dem Konto datasocial veröffentlichte Datensatz deckt den Zeitraum von Juli 2014 bis Oktober 2026 ab.

Die Veröffentlichung enthält Metadaten und keine Videodaten. Jede Zeile umfasst die Untertitel des Videos, Hashtags, Sound-IDs, eingeblendeten Text, TikTok-Shop-Produkt- und Verkäufer-IDs sowie Zählwerte für Aufrufe, Likes, Kommentare, Shares, Favoriten und Downloads. Das gesamte Archiv wiegt 460 GB, gespeichert als Parquet-Dateien, organisiert in einer Datei pro Monat. Dieser Umfang ist bescheiden für ein Korpus dieser Größe – eine Folge der Metadaten statt Videos – und das Layout mit einer Datei pro Monat eignet sich für zeitreihenbasierte Analysen.

Einige Felder spiegeln TikToks eigene Labels wider, etwa ob ein Video als KI-generiert markiert ist und ob die Plattform es von der Für-dich-Seite fernhält. Das KI-Flag ist bei älteren Einträgen, die aus einem Archiv stammen, häufig leer – eine Lücke, die Analysen einschränkt, die für frühere Jahre auf dieses Label angewiesen sind.

Der Datensatz ist nicht zugangsbeschränkt, das heißt, jeder kann ihn abrufen, ohne Antrag, Genehmigung oder institutionelle Zugehörigkeit. Hugging Faces Zähler zeigte bisher 1.181 Downloads. Er ist auch online über datasocial.ai verfügbar.

Die Veröffentlichung ist relevant, weil KI-Entwickler solche Daten wollen und TikTok den Zugang dazu erschwert hat. Untertitel, Hashtags, Sound-IDs und Interaktionszahlen von Milliarden von Beiträgen sind Rohmaterial für Modelle, die vorhersagen, was viral geht oder sich auf TikTok Shop verkauft, welche Wörter und Formulierungen funktionieren und welche nicht, sowie für Sprachmodelle, die lernen, wie Menschen in Short-Form-Videos schreiben.

TikToks offizieller Weg zu solchen Daten ist deutlich enger. Seine Research Tools stehen qualifizierten Forschern an akademischen Institutionen in Regionen einschließlich der USA, des EWR, des Vereinigten Königreichs, Kanadas und der Schweiz sowie einigen gemeinnützigen Organisationen in der EU offen und erfordern einen Antrag und eine Genehmigung – Zulassungskriterien, die kommerziellen KI-Entwicklern einen offellen Weg zu vergleichbaren Daten verwehren.

Weitreichendes Data Scraping ist auf der Plattform nicht erlaubt. Abschnitt 3.4 von TikToks US-Nutzungsbedingungen untersagt das Extrahieren von Daten von der Plattform mit automatisierter Software, sofern TikTok dem nicht schriftlich zustimmt.

Laut DataSocials Bericht gelangte die Sammlung über generierte Geräteidentitäten, die als Android-Telefone durchgingen, rückentwickelte Anfrage-Signaturen und einen gefälschten TLS-Handshake an TikToks private mobile API. Dem Bericht zufolge sammelte das System in drei Wochen 3,23 Milliarden Creator-Profile, 5,94 Milliarden Videos und 2,8 Milliarden Kommentare, ohne dass ein Login oder Konto beteiligt war.

Der kostenlose Tier fungiert zugleich als Schaufenster. Die Lizenz ist CC BY-NC 4.0, die das Teilen und Anpassen der Daten mit Namensnennung erlaubt, solange die Nutzung nicht-kommerziell bleibt; die Datensatzkarte beschreibt ihn als kostenlos für Forschung und persönliche Nutzung. Eine solche Lizenz regelt, wie die Dateien wiederverwendet werden dürfen; sie steht neben TikToks Nutzungsbedingungen, die regeln, wie die Daten erhoben wurden. Kommerzielle Nutzung, Creator-Profile und tägliche Updates werden an datasocial.ai verwiesen, das auch den Quellcode des Scrapers für 1.699 US-Dollar verkauft.

Scraping-Streitigkeiten werden bereits vor Gericht ausgetragen. Reddit verklagte Perplexity und drei Data-Scraping-Firmen im Oktober 2025 mit dem Vorwurf eines „industriellen Maßstabs“ erreichenden Schemas zur Ernte seiner Inhalte für KI-Training, wie Decrypt berichtete. Im Juli lehnte ein Bundesrichter die Abweisung des Falls überwiegend ab, wie Law360 meldet. Zu den verbliebenen Ansprüchen gehören DMCA-Vorwürfe, SerpApi habe Googles Anti-Bot-Schutz umgangen. TikTok ist nicht Partei, und jener Fall betrifft Scraping über Google-Suchergebnisse und nicht über eine private mobile API, sodass sein Ausgang die Rechtslage dieser Sammlung nicht direkt klären wird.

Was den Datensatz selbst betrifft, so enthalten die Zeilen Untertitel, verwendete Musik und verschiedene Label-Felder. Es gibt keine Spalte für Creator-Handles, doch die Daten umfassen Untertitel, Hashtags und im Video erwähnte Personen. Die Benutzer-ID ist jedoch über Datasocial verfügbar.

Der Datenschatz hat bereits Gesellschaft. Kopien eines separaten 4,5-Milliarden-Videos-Datensatzes, der ebenfalls aus TikToks mobiler API stammen soll, sind ebenfalls auf Hugging Face, kostenlos für nicht-kommerzielle Nutzung. Der Code, der ihn gesammelt hat, kostet 1.699 US-Dollar.