一位以 hashfunction 为昵称的开发者将约56亿条公开TikTok视频的元数据上传至开源AI仓库 Hugging Face,可依据非商业许可免费下载。该数据集以datasocial账户发布,覆盖2014年7月至2026年10月。

此次发布的是元数据,而非视频画面。每一行包含视频说明、话题标签、音频ID、屏幕文字、TikTok Shop商品及卖家ID,以及观看、点赞、评论、分享、收藏和下载数量。整个档案库大小为460 GB,以Parquet文件存储,按每月一个文件组织。相对于如此规模的语料库,这一占用空间较为紧凑——原因在于其包含的是元数据而非视频——且按月分文件的布局便于进行基于时间的分析。

部分字段反映的是TikTok自身的标注,例如视频是否被标记为AI生成,以及平台是否将其排除在For You页面之外。较早期条目的AI标记经常为空,这些数据来自存档——这一缺口限制了依赖该标签对早期年份进行的任何分析。

该数据集未设访问门槛,任何人都可获取,无需申请、批准或机构隶属关系。Hugging Face的计数器显示,目前下载量为1,181次。也可通过 datasocial.ai 在线获取。

此次发布之所以重要,是因为AI开发者需要这类数据,而TikTok使其难以获取。数十亿条帖子的说明文字、话题标签、音频ID和互动数据,是用于预测什么内容会走红、什么商品能在TikTok Shop上畅销、哪些词语和短语能引起共鸣而哪些不能的模型的原始素材,也是学习人们在短视频中如何表达的语言模型的训练素材。

TikTok获取此类数据的官方渠道要狭窄得多。其 Research Tools 仅面向包括美国、欧洲经济区、英国、加拿大和瑞士等地区学术机构中符合资格的研究人员,以及欧盟部分非营利机构,且需申请并获得批准——这些资格标准使商业AI开发者没有获取同类数据的官方途径。

该平台不允许大范围的数据抓取。TikTok美国 服务条款 第3.4节禁止使用自动化软件从平台提取数据,除非获得TikTok书面批准。

根据 DataSocial的说明,该采集系统使用可伪装成Android手机的生成设备身份、逆向工程的请求签名和伪造的TLS握手,访问了TikTok的私有移动端API。说明中称,该系统在三周内收集了32.3亿个创作者资料、59.4亿条视频和28亿条评论,且未涉及任何登录或账户。

免费版本同时充当商店橱窗。其许可证为CC BY-NC 4.0,只要用途保持非商业,允许在署名的前提下共享和改编数据;数据集卡片称其可免费用于研究和个人用途。此类许可证规范的是文件如何被重复使用;它与TikTok的服务条款相互独立,后者规范的是数据如何被收集。商业用途、创作者资料和每日更新则被引导至datasocial.ai,该平台还以1,699美元出售抓取工具的源代码。

围绕数据抓取的争议已在上展开。Reddit于2025年10月起诉Perplexity和三家数据抓取公司,指控其以"工业规模"的计划采集其内容用于AI训练,如 Decrypt此前报道。据 Law360报道,今年7月,一名联邦法官基本驳回了撤销该案的请求。存活下来的诉求包括指控SerpApi绕过Google反机器人保护的DMCA相关主张。TikTok并非该案当事方,且该案涉及通过Google搜索结果进行抓取,而非私有移动端API,这意味着其结果不会直接决定此次TikTok数据收集的法律地位。

至于数据集本身,各行包含说明文字、所用音乐及各种标注字段。数据中没有创作者用户名一栏,但包含说明文字、话题标签以及视频中提及的人物等信息。不过,用户ID可通过Datasocial获取。

这一数据宝库并非孤例。另一套45亿条视频的数据集副本——同样据称从TikTok移动端API收集——也发布在 Hugging Face 上,可免费用于非商业用途。收集该数据集的代码售价为1,699美元。