研究发现,机器学习“数字孪生”在职业培训项目评估中与随机试验结果相匹配
要点速览
- •基于覆盖1999年至2025年所有美国成年人的匿名所得税记录训练的机器学习模型,以与随机对照试验相当的准确度估算了职业培训项目对收入的影响。
- •该方法通过37项随机对照试验进行了验证,相较于早期研究使用的参数估计器,将均方根误差降低了60%。
- •即使在同一项目内部,收入方面的处理效果也会因地点和时间不同而存在显著差异,这意味着项目回报取决于其运营地点和时间。
- •将更多参与者安排到目标行业岗位的项目能够带来最大的收入增长,而且这些影响在参与者离开最初岗位后仍会持续。
- •该研究以期刊发表和同行评审之前的工作论文形式发布,提出将“经实验验证的数字孪生”作为一种可扩展的项目评估方法,但其在职业培训以外领域的应用仍有待验证。

经济学家 Raj Chetty、Jamie Fogel、Lawrence F. Katz、Kadeem Noray、Sonya Porter 和 James Reisinger 撰写的一篇新工作论文显示,基于大规模行政数据构建的机器学习模型,能够以与随机对照试验(RCT)相当的准确度估算职业培训项目对收入的影响。完整论文可通过 Opportunity Insights 获取 PDF 版本。
从小规模调查到全国税务数据
现代项目评估长期以来优先采用 RCT 证据。在这类试验中,参与者被随机分配到处理组和对照组,从而将项目效果与其他因素区分开来。政府和研究人员依赖这类试验,是因为此前研究发现,项目影响的观察性估计往往与实验基准存在较大差异——经济学家自20世纪80年代以来一直在关注这一问题。新论文作者指出,早期研究基于小规模调查数据集。当前,随着大规模行政数据的出现,研究重新审视了这一问题;由于成本、后勤或伦理等原因,政府通常很难为其运营的每个项目都开展实验。行政数据提供了另一种证据基础:这些记录是在政府日常职能运行过程中产生的,包括纳税申报记录,覆盖的是完整人口,而不是早期差异研究所依赖的小规模调查样本。
研究人员利用覆盖1999年至2025年所有美国成年人的匿名所得税记录,估算职业培训项目对收入的影响。机器学习模型根据个人此前的工作经历、人口特征和居住地等丰富数据,预测反事实结果,即参与者在没有参加项目的情况下本来会获得的收入。
与实验基准相匹配
作者并没有检验观察性估计是否不存在偏差,而是利用37项 RCT 来估计其偏差分布。这一验证涵盖数十项独立实验,而非单一基准试验。机器学习估计结果与 RCT 结果高度吻合,其均方根误差(RMSE)——一种衡量估计值偏离目标近似值程度的标准指标——与 RCT 本身的 RMSE 相当。论文称,由于更大的样本和更丰富的协变量能够支持更加灵活、更高维度的反事实模型,该方法相较于此前研究使用的参数估计器,将 RMSE 降低了60%。
收益集中在哪些方面
将该方法应用于实验样本之外更广泛的地点和入学年份后,论文发现,即使在同一项目内部,收入方面的处理效果也会因地点和时间不同而存在显著差异——这意味着同一个项目在不同运营地点和时间可能带来非常不同的回报。将更多参与者安排到目标行业岗位的项目,能够带来最大的收入增长,而且即使参与者离开最初的工作岗位,这些影响仍会持续。
作者写道,这些发现为改进职业培训项目提供了指导;从更广泛的角度看,它们展示了一种可扩展的项目评估方法:利用观察性数据构建“经实验验证的数字孪生”。在这一框架下,实验仍然发挥核心作用,作为校准和检验数据驱动估计的基准;与此同时,行政数据能够将评估范围扩展到那些未开展随机试验的地点、年份和项目。论文将该方法应用于职业培训领域,但它能否推广到政策评估的其他领域,仍有待后续研究验证。
该论文由 Marginal Revolution 推荐。该经济学博客由 Tyler Cowen 和 Alex Tabarrok 创办,并于2026年11月11日发表了相关文章。其配套评论措辞明确:“这类工作将彻底改变经济学方法。”
作为一篇工作论文,该研究以研究人员通常用于在期刊发表和相应同行评审之前发布成果的形式流传,因此这些结果仍处于研究过程的早期阶段。
Chetty 和 Katz 都是哈佛大学经济学家。Chetty 负责哈佛大学旗下专注于经济机会和流动性的研究机构 Opportunity Insights,该机构网站提供了这篇工作论文。作为劳动经济学家,Katz 长期研究工资、教育和技术变革。