Nowy working paper autorstwa ekonomistów Raja Chetty’ego, Jamie Fogel, Lawrence’a F. Katza, Kadeema Noraya, Sonyi Porter i Jamesa Reisingera pokazuje, że modele uczenia maszynowego oparte na wielkoskalowych danych administracyjnych mogą szacować wpływ programów szkolenia zawodowego na zarobki z dokładnością porównywalną z randomizowanymi badaniami kontrolowanymi (RCT). Pełny tekst pracy jest dostępny w formacie PDF za pośrednictwem Opportunity Insights.

Od małych badań ankietowych do krajowych danych podatkowych

Współczesna ewaluacja programów od dawna priorytetowo traktuje dowody z RCT, w których uczestnicy są losowo przydzielani do grupy objętej programem lub kontrolnej, dzięki czemu można oddzielić efekt programu od innych czynników. Rządy i badacze opierali się na takich eksperymentach, ponieważ często stwierdzano, że obserwacyjne szacunki wpływu programów znacznie odbiegają od wyników eksperymentalnych — problem ten ekonomiści sygnalizują od lat 80. Autorzy nowej pracy zauważają, że wcześniejsze ustalenia opierały się na małych zbiorach danych ankietowych. Badanie powraca do tego pytania w erze wielkoskalowych danych administracyjnych, gdy przeprowadzenie eksperymentu dla każdego programu realizowanego przez państwo rzadko jest wykonalne ze względu na koszty, logistykę lub kwestie etyczne. Dane administracyjne stanowią alternatywną bazę dowodową: są to rejestry powstające w ramach rutynowych funkcji państwa — w tym składania zeznań podatkowych — obejmujące całe populacje, a nie małe próby ankietowe, na których opierały się wcześniejsze ustalenia dotyczące rozbieżności.

Korzystając z anonimowych danych podatkowych obejmujących wszystkich dorosłych Amerykanów w latach 1999–2025, badacze szacują wpływ programów szkolenia zawodowego na zarobki. Modele uczenia maszynowego przewidują wyniki kontrfaktyczne — czyli to, ile uczestnicy zarobiliby, gdyby nie przystąpili do programu — na podstawie obszernych danych o wcześniejszej historii zatrudnienia, cechach demograficznych i miejscu zamieszkania.

Zgodność z punktem odniesienia wyznaczonym przez eksperymenty

Zamiast sprawdzać, czy szacunki obserwacyjne są obciążone, autorzy wykorzystują 37 RCT do oszacowania rozkładu tego obciążenia — jest to walidacja obejmująca dziesiątki odrębnych eksperymentów, a nie pojedyncze badanie referencyjne. Szacunki uzyskane za pomocą uczenia maszynowego są bardzo zbliżone do szacunków z RCT, a pierwiastek średniego błędu kwadratowego (RMSE) — standardowa miara odległości szacunków od wartości, które mają przybliżać — jest porównywalny z RMSE samych RCT. Zgodnie z pracą podejście to zmniejsza RMSE o 60 proc. w porównaniu z estymatorami parametrycznymi stosowanymi we wcześniejszych badaniach, ponieważ większe próby i bogatszy zestaw zmiennych objaśniających pozwalają tworzyć bardziej elastyczne modele kontrfaktyczne o większej liczbie wymiarów.

Gdzie koncentrują się korzyści

Po zastosowaniu tej metody do szerszego zestawu lokalizacji i lat naboru, wykraczającego poza próbę eksperymentalną, autorzy stwierdzili, że wpływ programów na zarobki znacznie różni się w zależności od miejsca i czasu, nawet w obrębie tego samego programu — co oznacza, że ten sam program może przynosić bardzo różne rezultaty w zależności od tego, gdzie i kiedy jest realizowany. Programy, które kierują większą liczbę uczestników do miejsc pracy w docelowych sektorach, generują największy wzrost zarobków, a ich wpływ utrzymuje się nawet po odejściu uczestników z pierwszych miejsc pracy.

Jak piszą autorzy, wyniki te dostarczają wskazówek dotyczących ulepszania programów szkolenia zawodowego, a szerzej — ilustrują skalowalne podejście do ewaluacji programów: wykorzystanie danych obserwacyjnych do tworzenia eksperymentalnie zwalidowanych „cyfrowych bliźniaków”. W tych ramach eksperymenty zachowują centralną rolę jako punkt odniesienia, względem którego kalibruje się i sprawdza szacunki oparte na danych, podczas gdy dane administracyjne pozwalają rozszerzyć ewaluację na lokalizacje, lata i programy, w których nie przeprowadzono randomizowanych badań. Praca stosuje tę metodę do szkoleń zawodowych, a zakres jej zastosowania w innych obszarach ewaluacji polityk publicznych będzie musiał zostać wykazany w kolejnych badaniach.

Praca została omówiona na blogu Marginal Revolution, założonym przez Tylera Cowena i Alexa Tabarroka, w poście opublikowanym 11 listopada 2026 r. Towarzyszący komentarz był jednoznaczny: „Prace tego rodzaju zrewolucjonizują metodologię ekonomii”.

Jako working paper badanie jest rozpowszechniane w formacie, którego naukowcy zwykle używają do publikowania wyników przed ukazaniem się artykułu w czasopiśmie i związanej z tym recenzji naukowej, co oznacza, że wyniki znajdują się na wczesnym etapie procesu badawczego.

Chetty i Katz są ekonomistami na Uniwersytecie Harvarda. Chetty kieruje Opportunity Insights, działającą przy Harvardzie organizacją badawczą zajmującą się szansami ekonomicznymi i mobilnością, na której stronie internetowej udostępniono working paper. Katz, ekonomista pracy, od dawna bada płace, edukację i zmiany technologiczne.