Machine-Learning-'Digitale Zwillinge' erreichen in der Bewertung von Arbeitsmarktprogrammen die Genauigkeit randomisierter Studien, wie eine Studie zeigt
Wichtige Erkenntnisse
- •Machine-Learning-Modelle, trainiert auf anonymisierten Einkommensteuerdaten aller erwachsenen US-Amerikaner zwischen 1999 und 2025, schätzten die Einkommenseffekte von Arbeitsmarkttraining-Programmen mit einer Genauigkeit, die mit randomisierten kontrollierten Studien vergleichbar ist.
- •Die Methode wurde anhand von 37 randomisierten kontrollierten Studien validiert und reduzierte den mittleren quadratischen Fehler (RMSE) um 60 Prozent gegenüber den in früheren Forschungen verwendeten parametrischen Schätzern.
- •Behandlungseffekte auf Einkommen variieren erheblich je nach Ort und Zeitpunkt, selbst innerhalb desselben Programms – die Erträge hängen also davon ab, wo und wann ein Programm durchgeführt wird.
- •Programme, die mehr Teilnehmende in Jobs des Zielsektors vermitteln, erzielen die größten Einkommensgewinne, wobei die Wirkungen auch nach dem Verlassen des ersten Jobs anhalten.
- •Die als Working Paper vor Zeitschriftenveröffentlichung und Peer-Review erschienene Studie schlägt 'experimentell validierte digitale Zwillinge' als skalierbaren Ansatz der Programmbewertung vor; Anwendungen über das Arbeitsmarkttraining hinaus sind noch nicht belegt.
Ein neues Working Paper der Ökonomen Raj Chetty, Jamie Fogel, Lawrence F. Katz, Kadeem Noray, Sonya Porter und James Reisinger berichtet, dass Machine-Learning-Modelle auf Basis groß angelegter Verwaltungsdaten die Einkommenseffekte von Arbeitsmarkttraining-Programmen mit einer Genauigkeit schätzen können, die mit randomisierten kontrollierten Studien (RCTs) vergleichbar ist. Das vollständige Paper ist als PDF über Opportunity Insights verfügbar.
Von kleinen Umfragen zu nationalen Steuerdaten
Die moderne Programmbewertung hat Evidenz aus RCTs lange bevorzugt, bei denen Teilnehmende nach dem Zufallsprinzip einer Behandlungs- oder Kontrollgruppe zugeteilt werden, sodass der Effekt eines Programms von anderen Faktoren isoliert werden kann. Regierungen und Forscher setzen auf solche Experimente, weil Beobachtungsschätzungen von Programmwirkungen häufig deutlich von experimentellen Benchmarks abwichen – ein Problem, das Ökonomen seit den 1980er Jahren anführen. Diese früheren Befunde, so die Autoren des neuen Papers, basierten auf kleinen Umfragedatensätzen. Die Studie untersucht die Frage erneut im Zeitalter groß angelegter Verwaltungsdaten, in dem ein Experiment für jedes staatliche Programm aus Kosten-, Logistik- oder Ethikgründen selten durchführbar ist. Verwaltungsdaten bieten eine alternative Evidenzgrundlage: Datensätze, die im Zuge routinemäßiger staatlicher Aufgaben entstehen – darunter die Steuererklärung – und ganze Bevölkerungen abdecken statt der kleinen Umfragestichproben, auf denen die früheren Abweichungsbefunde beruhten.
Anhand anonymisierter Einkommensteuerdaten, die alle erwachsenen US-Amerikaner zwischen 1999 und 2025 umfassen, schätzen die Forscher die Auswirkungen von Arbeitsmarkttraining-Programmen auf Einkommen. Machine-Learning-Modelle sagen kontrafaktische Ergebnisse voraus – was Teilnehmende ohne Programmteilnahme verdient hätten – auf Grundlage umfangreicher Daten zu früheren Berufsverläufen, Demografie und Wohnorten.
Treffgenau am experimentellen Benchmark
Statt zu prüfen, ob die Beobachtungsschätzungen unverzerrt sind, nutzen die Autoren 37 RCTs, um die Verteilung ihrer Verzerrung zu schätzen – eine Validierung über Dutzende separate Experimente hinweg statt anhand einer einzelnen Benchmark-Studie. Die Machine-Learning-Schätzungen stimmen eng mit den RCT-Schätzungen überein, mit einem mittleren quadratischen Fehler (RMSE) – einem Standardmaß dafür, wie weit Schätzungen von den Werten abweichen, die sie annähern sollen – vergleichbar mit dem der RCTs selbst. Laut dem Paper reduziert der Ansatz den RMSE um 60 Prozent gegenüber den in früheren Arbeiten verwendeten parametrischen Schätzern, da die größeren Stichproben und reichhaltigeren Kovariaten flexiblere, höherdimensionale Modelle des Kontrafaktischen ermöglichen.
Wo die Gewinne konzentriert sind
Wendet man die Methode auf einen breiteren Satz von Standorten und Teilnahmejahren außerhalb der experimentellen Stichprobe an, zeigt das Paper, dass Behandlungseffekte auf Einkommen je nach Ort und Zeitpunkt erheblich variieren, selbst innerhalb eines bestimmten Programms – dasselbe Programm kann also sehr unterschiedliche Erträge liefern, je nachdem, wo und wann es durchgeführt wird. Programme, die mehr Teilnehmende in Jobs des Zielsektors vermitteln, erzielen die größten Einkommensgewinne, wobei die Wirkungen auch nach dem Verlassen des ersten Jobs anhalten.
Die Befunde, so die Autoren, liefern Hinweise zur Verbesserung von Arbeitsmarkttraining-Programmen und veranschaulichen zugleich einen skalierbaren Ansatz der Programmbewertung: die Nutzung von Beobachtungsdaten zur Konstruktion experimentell validierter 'digitaler Zwillinge'. In diesem Rahmen behalten Experimente eine zentrale Rolle als Benchmark, an dem datengetriebene Schätzungen kalibriert und geprüft werden, während Verwaltungsdaten die Evaluation auf Standorte, Jahre und Programme jenseits der randomisierten Studien ausweiten. Das Paper wendet die Methode auf das Arbeitsmarkttraining an; wie weit sie auf andere Bereiche der Politikbewertung übertragbar ist, muss die weitere Forschung zeigen.
Das Paper wurde auf Marginal Revolution, dem von Tyler Cowen und Alex Tabarrok gegründeten Ökonomie-Blog, in einem am 11. November 2026 veröffentlichten Beitrag hervorgehoben. Der begleitende Kommentar war eindeutig: "Arbeit dieser Art wird die ökonomische Methode revolutionieren."
Als Working Paper zirkuliert die Studie in dem Format, das Forscher typischerweise nutzen, um Ergebnisse vor der Veröffentlichung in einer Fachzeitschrift und dem damit verbundenen Peer-Review bekannt zu machen; die Ergebnisse befinden sich damit in einem frühen Stadium des Forschungsprozesses.
Chetty und Katz sind beide Ökonomen an der Harvard University. Chetty leitet Opportunity Insights, eine an Harvard angesiedelte Forschungsorganisation mit Fokus auf wirtschaftliche Chancen und soziale Mobilität, auf deren Website das Working Paper verfügbar ist. Katz, ein Arbeitsökonom, beschäftigt sich seit Langem mit Löhnen, Bildung und technologischem Wandel.
