経済学者Raj Chetty、Jamie Fogel、Lawrence F. Katz、Kadeem Noray、Sonya Porter、James Reisingerによる新しいワーキングペーパーは、大規模な行政データに基づく機械学習モデルが、職業訓練プログラムの所得への影響をランダム化比較試験(RCT)に匹敵する精度で推定できることを報告している。論文の全文は、Opportunity InsightsからPDFで入手可能である。

小規模な調査から国規模の納税データへ

現代のプログラム評価では、参加者を処置群と対照群に無作為に割り当て、プログラムの効果を他の要因から切り分けられるRCTによるエビデンスが長らく重視されてきた。政府や研究者がこうした実験に頼ってきたのは、プログラムの影響に関する観察データに基づく推定が実験上の基準値から大きく乖離することが多いとされてきたためであり、経済学者が1980年代から指摘してきた問題である。この従来の知見は小規模な調査データセットに基づくものだったと、新論文の著者らは指摘する。今回の研究は、政府が運営するあらゆるプログラムについて実験を行うことが、費用・物流・倫理の観点から実現困難な場合が多い現状において、大規模な行政データの時代にこの問題を再検討している。行政データは代替的なエビデンス基盤を提供する。稟議申告を含む日常的な政府業務の過程で生成され、従来の乖離の知見の基となった小規模な調査サンプルではなく、全人口をカバーする記録である。

研究者らは、1999年から2025年までの米国成人全員を対象とする匿名化された所得税記録を用いて、職業訓練プログラムが所得に与える影響を推定している。機械学習モデルは、過去の職歴、人口統計属性、居住地に関する豊富なデータから、反実仮想の結果――参加者が訓練に参加しなかった場合に得ていたであろう所得――を予測する。

実験的基準との一致

著者らは、観察データに基づく推定に偏りがないかを検証する代わりに、37件のRCTを用いてその偏りの分布を推定した。これは単一の基準試験ではなく、数十件の個別の実験にまたがる検証である。機械学習による推定値はRCTの推定値と非常に近く、その平均二乗誤差(RMSE)――推定値が目標とする値からどれだけ離れているかを示す標準的な指標――はRCT自体のそれに匹敵する。論文によれば、この手法は、より大規模なサンプルと豊富な共変量により、より柔軟で高次元の反実仮想モデルが可能になるため、従来の研究で用いられたパラメトリック推定量に比べてRMSEを60%削減するという。

効果が集中する場所

この手法を実験サンプルを超えるより広範な実施地と登録年次に適用した結果、論文は、所得への処置効果が地域や時期によって大きく異なり、同一プログラム内でさえそうであること――つまり同じプログラムでも、実施地と時期によって成果が大きく変わる――を明らかにした。より多くの参加者を対象分野の仕事に就かせるプログラムが最大の所得増をもたらし、その影響は参加者が最初の職を離れた後も持続する。

この知見は、職業訓練プログラムの改善への指針を提供するとともに、より広く、観察データを用いて実験的に検証された「デジタルツイン」を構築するというスケーラブルなプログラム評価のアプローチを示すものだと著者らは述べている。このフレームワークでは、実験はデータ駆動型の推定値の較正と検証の基準として中心的な役割を保ちつつ、行政データが評価を、無作為化試験が実施された場所以外の実施地、年次、プログラムへと拡張する。論文がこの手法を適用しているのは職業訓練であり、政策評価の他分野への適用範囲がどの程度広がるかは、今後の研究による実証が待たれる。

本論文は、Tyler Cowen氏とAlex Tabarrok氏が設立した経済学ブログMarginal Revolutionで、2026年11月11日に公開された投稿で取り上げられた。そこでの論評は明確だった。「この種の研究は経済学の方法論を変革することになる」というものである。

ワーキングペーパーとして、本研究は、研究者がジャーナル掲載とそれに伴う査読の前に研究成果を公開する際に通常用いる形式で流通しており、これらの結果は研究プロセスの初期段階にある。

Chetty氏とKatz氏はともにハーバード大学の経済学者である。Chetty氏は、経済的機会と流動性を研究テーマとするハーバード大学の研究組織Opportunity Insightsの責任者であり、そのウェブサイトでワーキングペーパーを公開している。労働経済学者のKatz氏は、賃金、教育、技術変化を長年研究してきた。