開発者が56億件のTikTok動画のメタデータをHugging Faceに公開、非商用ライセンスで無償提供
重要ポイント
- •56億件の動画データセットは2014年7月から2026年10月までをカバーし、映像ではなく、キャプション、ハッシュタグ、サウンドID、TikTok Shop識別子、エンゲージメント数といったメタデータを含む。
- •Hugging Face上でCC BY-NC 4.0非商用ライセンスによりゲートなしで公開されており、商用利用、クリエイタープロフィール、日次更新はdatasocial.ai経由で販売され、スクレイパーのソースコードは1,699ドル。
- •TikTokの公式Research Toolsは要件を満たす学術研究者および一部非営利研究者に限られ、商用AI開発者に承認された同等データへの経路がなく、利用規約は書面による同意のない自動スクレイピングを禁止している。
- •DataSocialの解説記事によると、収集は生成されたAndroidデバイスID、リバースエンジニアリングされた署名、偽装されたTLSハンドシェイクを用いてTikTokのプライベートモバイルAPIにアクセスし、3週間で32.3億件のプロフィール、59.4億件の動画、28億件のコメントを収集したという。
- •RedditのPerplexityおよびスクレイピング企業3社に対する訴訟は棄却を大部分免れたが、プライベートモバイルAPIではなくGoogle検索結果に関するものであるため、その結果がこのTikTokデータ収集の法的地位を直接決定することはない。
hashfunctionというハンドルネームで活動する開発者が、約56億件の公開TikTok動画のメタデータをオープンソースAIリポジトリHugging Faceにアップロードした。非商用ライセンスのもとで無料でダウンロード可能だ。datasocialアカウント名義で公開されたこのデータセットは、2014年7月から2026年10月までをカバーしている。
今回の公開には動画映像ではなくメタデータが含まれる。各行には、動画のキャプション、ハッシュタグ、サウンドID、画面上のテキスト、TikTok Shopの商品IDと販売者ID、さらに再生数、いいね数、コメント数、シェア数、保存数、ダウンロード数が記録されている。アーカイブ全体は460GBで、月ごとに1ファイルのParquetファイルとして保存されている。この規模のコーパスとしては容量は控えめで、映像ではなくメタデータを扱っているためであり、月ごとのファイル構成は時系列分析に適している。
一部のフィールドはTikTok自身のラベルを反映しており、動画がAI生成とフラグされているか、プラットフォームがFor Youページから除外しているかなどが含まれる。アーカイブ由来の古いエントリではAIフラグが頻繁に空になっており、この欠落は初期年における当該ラベルに依存する分析を制限する要因となっている。
このデータセットはゲートされておらず、申請、承認、所属機関を必要とせず誰でもできる。Hugging Faceのカウンターは現時点で1,181ダウンロードを表示している。また、datasocial.aiからもオンラインで入手可能だ。
この公開が重要なのは、AI開発者がこの種のデータを求めており、TikTokがその入手を困難にしてきたからだ。数十億件の投稿にわたるキャプション、ハッシュタグ、サウンドID、エンゲージメント数は、何がバズるか、何がTikTok Shopで売れるか、どの言葉やフレーズが響きどれが響かないかを予測するモデル、そしてショート動画で人がどのように書くかを学習する言語モデルにとっての原材料となる。
TikTokの公式なデータアクセス経路ははるかに狭い。Research Toolsは、米国、欧州経済領域(EEA)、英国、カナダ、スイスなどの地域にある学術機関の要件を満たす研究者、およびEUの一部非営利団体に開放されており、申請と承認が必要だ。この適格基準により、商用AI開発者には同等のデータへの公式な道が残されていない。
プラットフォームは広範なデータスクレイピングを認めていない。TikTokの米国利用規約第3.4条は、TikTokが書面で承認しない限り、自動ソフトウェアによるプラットフォームからのデータ抽出を禁止している。
DataSocialの解説記事によると、この収集では、Androidスマートフォンとして通る生成デバイスID、リバースエンジニアリングされたリクエスト署名、偽装されたTLSハンドシェイクを用いてTikTokのプライベートモバイルAPIにアクセスしたという。同記事によれば、このシステムは3週間で32.3億件のクリエイタープロフィール、59.4億件の動画、28億件のコメントを収集し、ログインやアカウントは一切使用しなかったという。
無料枠は店面を兼ねている。ライセンスはCC BY-NC 4.0で、非商用の範囲に限り帰属表示付きでの共有と改変を許諾しており、データセットカードでは研究および個人利用向けに無料と説明されている。この種のライセンスはファイルの再利用方法を規定するものであり、データの収集方法を規定するTikTokの利用規約とは別物だ。商用利用、クリエイタープロフィール、日次更新はdatasocial.aiに誘導されており、同社はスクレイパーのソースコードを1,699ドルで販売している。
スクレイピングをめぐる争いはすでに法廷で展開されている。Redditは2025年10月、AI学習のために自社コンテンツを収穫する「産業規模の」スキームを主張として、Perplexityとデータスクレイピング企業3社を訴えた(Decrypt報道)。7月には連邦裁判官が訴訟の大部分の棄却を拒否した(Law360報道)。存続している請求には、SerpApiがGoogleのアンチボット保護を回避したとするDMCA違反の主張が含まれる。TikTokは当事者ではなく、この訴訟はプライベートモバイルAPIではなくGoogle検索結果を経由したスクレイピングに関するものであり、その結果がこのTikTokデータ収集の法的地位を直接決定することはない。
データセット自体については、各行にキャプション、使用された音楽、各種ラベルフィールドが含まれる。クリエイターハンドルの列はないが、データにはキャプション、ハッシュタグ、動画内で言及された人物などが含まれる。ただし、ユーザーIDはDatasocialを通じて入手可能だ。
このデータの宝庫にはすでに類似の存在がある。同様にTikTokのモバイルAPIから収集されたと説明される、45億件の動画からなる別のデータセットのコピーもHugging Face上にあり、非商用利用に限り無料だ。収集に使われたコードの価格は1,699ドルである。
