開發者在 Hugging Face 免費發布 56 億支 TikTok 影片的元資料,採非商業授權
重點速覽
- •這個 56 億支影片的資料集涵蓋 2014 年 7 月至 2026 年 10 月,包含說明文字、主題標籤、音效 ID、TikTok Shop 標識與互動數據等元資料,而非影片內容。
- •它在 Hugging Face 上以 CC BY-NC 4.0 非商業授權無門檻開放,而商業用途、創作者檔案與每日更新則透過 datasocial.ai 銷售,其爬蟲原始碼售價 1,699 美元。
- •TikTok 官方研究工具僅限符合資格的學術及部分非營利研究人員使用,商業 AI 開發者缺乏取得同類資料的核准途徑,且其服務條款禁止未經書面同意的自動化抓取。
- •DataSocial 的說明文章指出,該採集系統利用生成的 Android 裝置身分、逆向工程簽章與偽造的 TLS 握手存取 TikTok 私人行動 API,三週內採集了 32.3 億個檔案、59.4 億支影片與 28 億則留言。
- •Reddit 對 Perplexity 及三家抓取公司的訴訟大致通過撤銷動議,但因該案涉及 Google 搜尋結果而非私人行動 API,其結果不會直接決定此次 TikTok 資料採集的法律地位。

一位以 hashfunction 為帳號名稱的開發者,已將約 56 億支公開 TikTok 影片的元資料上傳至開源 AI 儲存庫 Hugging Face,在非商業授權下可免費下載。該資料集以 datasocial 帳號發布,涵蓋 2014 年 7 月至 2026 年 10 月。
此次發布包含的是元資料而非影片內容。每一列資料包含影片說明、主題標籤、音效 ID、畫面文字、TikTok Shop 商品與賣家 ID,以及觀看、按讚、留言、分享、收藏與下載次數。整個資料檔案重達 460 GB,以 Parquet 檔案儲存,每月一個檔案。就如此規模的語料而言,這樣的體積相當小——原因在於只包含元資料而非影片——而按月分檔的結構也適合進行時間序列分析。
部分欄位反映 TikTok 自身的標記,例如影片是否被標記為 AI 生成,以及平台是否將其排除於「為你推薦」(For You)頁面之外。較舊的資料來自封存檔,其 AI 標記經常為空白——這一缺口限制了任何依賴該標記進行早期年份分析的可能性。
該資料集未設存取門檻,任何人皆可取得,無需申請、核准或機構隸屬身分。Hugging Face 的計數器顯示目前已有 1,181 次下載。該資料集亦可透過 datasocial.ai 線上取得。
此次發布之所以重要是因為 AI 開發者需要這類資料,而 TikTok 使其難以取得。數十億則貼文的說明、主題標籤、音效 ID 與互動數據,是訓練預測何種內容會爆紅、何種商品會在 TikTok Shop 熱賣、哪些詞彙能引起共鳴的模型,以及學習短影音寫作方式之語言模型的原始素材。
TikTok 取得此類資料的官方管道則狹隘得多。其研究工具僅開放給符合資格的學術機構研究人員,地區涵蓋美國、歐洲經濟區(EEA)、英國、加拿大與瑞士,以及歐盟部分非營利組織,且須經申請與核准——這些資格條件使商業 AI 開發者無法透過官方途徑取得同類資料。
平台並不允許大規模資料抓取。TikTok 美國服務條款第 3.4 條禁止在未經 TikTok 書面核准的情況下,以自動化軟體從平台提取資料。
根據 DataSocial 的說明文章,該採集系統利用偽裝成 Android 手機的生成裝置身分、逆向工程的請求簽章以及偽造的 TLS 握手,存取了 TikTok 的私人行動 API。文章指出,該系統在三週內採集了 32.3 億個創作者檔案、59.4 億支影片與 28 億則留言,且過程中未涉及任何登入或帳號。
免費方案同時也是商店櫥窗。其授權為 CC BY-NC 4.0,允許在標註出處的前提下分享與改用資料,前提是用途維持非商業性質;資料集說明頁將其描述為供研究與個人用途免費使用。此類授權規範檔案的重複使用方式;它獨立於規範資料採集方式的 TikTok 服務條款。商業用途、創作者檔案與每日更新則導向 datasocial.ai,該公司亦以 1,699 美元出售爬蟲的原始碼。
資料抓取的爭議已在法庭上展開。Reddit 於 2025 年 10 月控告 Perplexity 與三家資料抓取公司,指控其以「工業規模」的計畫蒐集其內容用於 AI 訓練,如 Decrypt 先前的報導。據 Law360 報導,一名聯邦法官於 7 月大致駁回了撤銷案件的請求。存續的訴訟主張包括 DMCA 指控,即 SerpApi 繞過了 Google 的反機器保護機制。TikTok 並非本案當事人,且該案涉及透過 Google 搜尋結果而非私人行動 API 的抓取,意味著其判決結果不會直接釐清此次 TikTok 資料採集的法律地位。
至於資料集本身,每一列包含說明文字、所使用的音樂以及各種標記欄位。資料中沒有創作者帳號欄位,但包含說明、主題標籤與影片中被標記的人物等資訊。不過,使用者 ID 可透過 Datasocial 取得。
這批資料寶庫並不孤單。另一個規模達 45 億支影片的資料集副本,同樣被描述為自 TikTok 行動 API 採集而來,也已登上 Hugging Face,供非商業用途免費使用。採集它的程式碼售價為 1,699 美元。