Een nieuw working paper van de economen Raj Chetty, Jamie Fogel, Lawrence F. Katz, Kadeem Noray, Sonya Porter en James Reisinger meldt dat machine learning-modellen op basis van grootschalige administratieve data de inkomenseffecten van arbeidsmarkttrainingsprogramma's kunnen schatten met een nauwkeurigheid die vergelijkbaar is met gerandomiseerde gecontroleerde trials (RCT's). Het volledige paper is als PDF beschikbaar via Opportunity Insights.

Van kleine enquêtes naar nationale belastingdata

Moderne programma-evaluatie heeft lange tijd prioriteit gegeven aan bewijs uit RCT's, waarbij deelnemers willekeurig worden toegewezen aan een behandelgroep en een controlegroep zodat het effect van een programma kan worden geïsoleerd van andere factoren. Overheden en onderzoekers hebben zich op dergelijke experimenten gestut omdat geschat werd dat observationele schattingen van programmare resultaten vaak aanzienlijk afweken van experimentele ijkpunten — een probleem dat economen al sinds de jaren tachtig signaleren. Die eerdere bevindingen, nota璨 de auteurs van het nieuwe paper, waren gebaseerd op kleine enquêtedatasets. De studie herbezicht de vraag in het tijdperk van grootschalige administratieve data, in een tijd waarin het om kosten-, logistieke of ethische redenen zelden haalbaar is om voor elk overheidsprogramma een experiment uit te voeren. Administratieve data bieden een alternatieve bewijsbasis: gegevens die voortkomen uit reguliere overheidsfuncties — waaronder belastingaangiften — en die hele populaties bestrijken in plaats van de kleine enquêtesteenmonsters waarop de eerdere divergentiebevindingen rusten.

Op basis van geanonimiseerde inkomstenbelastinggegevens van alle Amerikaanse volwassenen tussen 1999 en 2025 schatten de onderzoekers de effecten van arbeidsmarkttrainingsprogramma's op inkomsten. Machine learning-modellen voorspellen contrafeitelijke uitkomsten — wat deelnemers zonder deelname zouden hebben verdiend — op basis van rijke gegevens over eerdere werkgeschiedenissen, demografie en woonlocaties.

Matchen met het experimentele ijkpunt

In plaats van te toetsen of de observationele schattingen onvertrokken zijn, gebruiken de auteurs 37 RCT's om de verdeling van hun vertekening te schatten — een validatie over tientallen afzonderlijke experimenten in plaats van een enkele benchmarktrial. De machine learning-schattingen sluiten nauw aan bij de RCT-schattingen, met een root mean squared error (RMSE) — een standaardmaat voor hoe ver schattingen afwijken van de waarden die ze benaderen — die vergelijkbaar is met die van de RCT's zelf. Volgens het paper vermindert de aanpak de RMSE met 60 procent ten opzichte van de parametrische schatters die in eerder werk werden gebruikt, omdat de grotere steekproeven en rijkere covariaten flexibelere, hoger-dimensionale modellen van het contrafeit mogelijk maken.

Waar de winsten zich concentreren

Bij toepassing op een bredere reeks locaties en inschrijfjaren buiten de experimentele steekproef stelt het paper vast dat de behandelingseffecten op inkomsten aanzienlijk variëren per locatie en over tijd, zelfs binnen een en hetzelfde programma — wat betekent dat hetzelfde programma zeer verschillende rendementen kan opleveren, afhankelijk van waar en wanneer het wordt uitgevoerd. Programma's die meer deelnemers plaatsen in banen binnen de doelsector behalen de grootste inkomenswinsten, met effecten die aanhouden nadat deelnemers hun eerste baan na de deelname verlaten.

De bevindingen, schrijven de auteurs, bieden richtlijnen voor het verbeteren van arbeidsmarkttrainingsprogramma's en illustreren breder een schaalbare aanpak voor programma-evaluatie: het gebruiken van observationele data om experimenteel gevalideerde "digitale tweelingen" te construeren. Binnen dit kader behouden experimenten een centrale rol als het ijkpunt waartegen datagedreven schattingen worden gekalibreerd en gecontroleerd, terwijl administratieve data de evaluatie uitbreiden naar locaties, jaren en programma's buiten die waarin gerandomiseerde trials werden uitgevoerd. Het paper past de methode toe op arbeidsmarkttraining, en hoe ver ze reikt naar andere gebieden van beleidsevaluatie moet uit nadere onderzoek blijken.

Het paper werd belicht op Marginal Revolution, de economische blog opgericht door Tyler Cowen en Alex Tabarrok, in een bericht van 11 november 2026. De begeleidende reactie was ondubbelzinnig: "Werk van deze soort gaat de economische methodologie revolutioneren."

Als working paper circuleert de studie in het formaat dat onderzoekers doorgaans gebruiken om bevindingen vrij te geven vóór journalpublicatie en de bijbehorende peer review, waardoor deze resultaten zich in een vroeg stadium van het onderzoeksproces bevinden.

Chetty en Katz zijn beide economen aan de Harvard University. Chetty leidt Opportunity Insights, een aan Harvard verbonden onderzoeksorganisatie die zich richt op economische kansen en mobiliteit en whose website het working paper host. Katz, een arbeidseconoom, bestudeert al lange tijd lonen, onderwijs en technologische verandering.