Pokoleniu Z obietnice, że sztuczna inteligencja będzie wielkim wyrównywaczem szans: narzędziem pozwalającym 24-latkowi tworzyć prace na poziomie weterana. Nowe badanie ekonomisty Davida Autora sugeruje, że AI może zamiast tego zmniejszać różnice w bieżącej wydajności, jednocześnie pogłębiając luki w rzeczywistych umiejętnościach.

W trzymiesięcznym eksperymencie z udziałem prawników patentowych AI poprawiła jakość projektów na wszystkich poziomach doświadczenia. Ale gdy badacze odebrali narzędzie i sprawdzili samodzielny osąd prawników, przeciętną poprawę wykazali tylko doświadczeni prawnicy. Juniorzy — nie.

„Nasze wyniki podważają pogląd, że AI jest automatycznym wyrównywaczem umiejętności” — powiedział Autor w pisemnych odpowiedziach dla Fortune. „Nasze dane sugerują, że jest to wyrównywacz wyników, ale niezrównywacz umiejętności: tylko praktycy, którzy mieli już fundamenty modeli mentalnych, byli w stanie podnieść poziom swoich podstawowych kompetencji.”

Badanie grupowało prawników według doświadczenia, a nie wieku. „Seniorami” byli prawnicy z co najmniej siedmioletnią praktyką, a badacze nie analizowali pokolenia Z jako osobnej grupy. Wyniki dotyczą jednak najbardziej bezpośrednio pracowników na początku kariery, którzy dopiero budują ekspercję zawodową.

Od szoku chińskiego do AI

Autor kieruje katedrą ekonomii na MIT i jest Visiting Fellow w programie Google Technology and Society. Znany jest przede wszystkim z „szoku chińskiego” — dorobku badawczego stworzonego wraz z ekonomistami Davidem Dornem i Gordonem Hansonem. Ich prace wykazały, że chińska konkurencja importowa wyrządziła trwałe szkody amerykańskim społecznościom przemysłowym, które nie dostosowały się tak gładko, jak przewidywali omistyczni zwolennicy globalizacji.

W silnie narażonych rynkach pracy płace i wskaźniki aktywności zawodowej pozostały obniżone, a bezrobocie podwyższone przez co najmniej dekadę. W ostatnim czasie Autor i Hanson ostrzegali przed „szokiem chińskim 2.0” — chińską konkurencją w zaawansowanych branżach, która może zagrozić amerykańskiej przewadze technologicznej i związanym z nią dobrze płatnym stanowiskom.

Niektórzy znani ekonomiści, w tym Torsten Slok z Apollo Global Management, twierdzili, że „szok AI” mógłby być podobny do szoku chińskiego pod względem skutków dla amerykańskiego rynku pracy. Bhaskar Chakravorti z Tufts ukuł nawet frazę „the wired belt” (okrąg przewodowy) jako odpowiednik Rust Belt (pasa rdzy).

Autor odrzucił to porównanie w wystąpieniu w podcaście Possible, prowadzonym przez współzałożyciela LinkedIn Reida Hoffmana. Powiedział, że AI „nie będzie w żadnym sensie powtórzeniem szoku chińskiego w handlu”, ponieważ szok chiński był dla amerykańskich firm „czystym negatywnym szokiem konkurencyjnym”, podczas gdy AI będzie miała „zupełnie inny charakter”, zwiększając produktywność.

Debata o AI opiera się częściowo na założeniu, które szok chiński podważył: że gdy technologia przejmie pracę rutynową, pracownicy naturalnie awansują do wyższych umiejętności. Autor powiedział Fortune, że jego obawą w sprawie AI nie jest przede wszystkim masowa utrata miejsc pracy.

„Niebezpieczeństwo, jakie może nam przynieść AI, nie polega na tym, że eliminuje ona netto dużą liczbę miejsc pracy, lecz na tym, że eliminuje niektóre obszary specjalizacji, jednocześnie tworząc nowe” — powiedział. „To brzmi jak rozsądny układ, ale pracownicy tracący te stare kariery zazwyczaj nie są tymi, którzy będą mogli skorzystać z nowych ról, które się pojawią.”

Eksperyment w dziedzinie prawa patentowego dotyczył węższego pytania: czy pracownicy korzystający z potężnego nowego narzędzia faktycznie budują ekspercję potrzebną do rozwoju w zawodzie.

Lepsze projekty, nierówna nauka

Autor i sześciu współautorów opublikowali badanie jako roboczy dokument National Bureau of Economic Research. Tekst nie przeszedł recenzji — dokumenty robocze są udostępniane do dyskusji i komentarzy przed recenzją czasopismową.

Badanie objęło 133 prawników z 11 amerykańskich kancelarii własności intelektualnej, które mają stałe relacje w zakresie sporządzania projektów patentowych z Google. Badacze losowo przydzielili prawnikom dostęp do dedykowanego asystenta AI do sporządzania projektów patentowych — wówczas jeszcze niewydanej Narzęd Google Labs. Dwie trzecie prawników otrzymało dostęp, pozostali nie korzystali z narzędzia podczas badania. Losowa selekcja jest kluczowa dla konstrukcji badania: ponieważ dostęp został przyznany przypadkiem, różnice w wynikach między grupami można przypisać narzędziu, a nie wcześniejszym różnicom w zdolnościach.

Rola Google wykraczała poza dostarczenie oprogramowania. Dokument wskazuje sześciu współautorów Autora jako pracowników Google. Stanowi też, że Google przeprowadziło badanie i pokryło jego bezpośrednie koszty, podczas gdy komisja MIT ds. badań z udziałem osób ustaliła, że MIT nie uczestniczył w badaniach. W mailu do Fortune przedstawiciele Google określili dokument jako niezależne badanie, które Autor przeprowadził w ramach fellowship.

Prawnicy sporządzali projekty patentowe na podstawie symulowanych materiałów od wynalazców po 10 dniach i ponownie po 90 dniach. Według dokumentu projekty oceniali adwokaci patentowi z niezależnej kancelarii, nie wiedząc, którzy prawnicy korzystali z AI. Oceny obejmowały wykonalność egzekwowania, dokładność, strategiczną niejednoznaczność, kompletność i przejrzystość.

Po 90 dniach dostęp do AI zwiększył wyniki sporządzania projektów o 0,38 odchylenia standardowego. W wpisie na blogu Google towarzyszącym dokumentowi Autor i współautorka Tania Rodczenko określiły ten wynik jako zysk 11 punktów percentylowych względem grupy kontrolnej. Dokument stwierdza, że poprawa wynikała z redukcji słabych prac, a nie ze wzrostu liczby prac znakomitych.

Trudniejszy test nastąpił na końcu eksperymentu. Prawnicy musieli oznakować hipotetyczny patent, który — zgodnie z wpisem na blogu — zawierał liczne błędy merytoryczne i stylistyczne. Dokument opisał to zadanie jako takie, które prawnicy patentowi „rutynowo wykonują bez pomocy”. AI nie było dozwolone.

Starsi prawnicy, którzy mieli dostęp do AI, przewyższyli rówieśników z grupy kontrolnej o 0,45 odchylenia standardowego — wynika z dokumentu. Młodsi prawnicy nie wykazali przeciętnego wzrostu.

Badanie zawierało kilka zastrzeżeń. Tylko 91 z 133 prawników ukończyło test bez AI. Kancelarie odmówiły przeprowadzenia testu umiejętności na początku eksperymentu, więc badacze wnioskowali o wzrostach umiejętności z losowego przydziału, a nie z pomiarów przed i po próbie.

Autorzy oznakowali też 15 z 91 oznakowań jako potencjalnie wspomaganych przez AI pomimo zakazu. Takie flagi pojawiały się mniej więcej tak często wśród prawników z grupy kontrolnej. Po wykluczeniu tych 15 oznakowań — mówi dokument — przewaga starszych prawników spadła do 0,39 odchylenia standardowego i pozostała istotna statystycznie przy luźniejszym progu. Ogólny efekt już nie.

„Iluzja kompetencji”

Wyniki młodszych prawników rozłożyły się na całym rozkładzie — wynika z dokumentu. Było znacznie więcej ocen słabych, mniej przeciętnych i więcej dobrych, ale brak poprawy wśród najwyżej ocenianych juniorów. Autorzy napisali, że AI „służyła niektórym juniorom za trampolinę, a innych asekuracyjnie zabezpieczała”.

Towzyszący wpis na blogu opisuje, jak pracowały młodsze osoby. Zwykle szły od początku dokumentu do końca, szlifując wstępne fragmenty, zanim dotarły do głównych roszczeń. Niektóre zauważały poważne problemy, ale zostawiały komentarze opisujące je, zamiast je naprawiać. Juniorzy z grupy kontrolnej zachowywali się podobnie — wzorzec, który autorzy nazwali „bazowym deficytem juniorów” i którego trzy miesiące dostępu do AI nie usunęły.

Mimo to młodzi prawnicy ocenili doświadczenie z narzędziem pozytywnie. Autor powiedział Fortune, że juniorzy wspierani przez AI zgłosili skokowy wzrost satysfakcji z zadania — największy taki efekt w badaniu. Powiedzieli, że pominięcie „problemu pustej kartki” pozwalało im od razu wejść w rolę recenzenta. Satysfakcja ta istniała obok braku przeciętnych wzrostów w teście bez asysty — rozdźwięk między tym, jak praca się odczuwała, a czym była w rzeczywistości.

„Młodzi profesjonaliści powinni uważać na iluzję kompetencji” — powiedział Autor. „Jedynym sposobem, żeby naprawdę wiedzieć, czy rozwijasz umiejętności, jest wykonywanie zadań bez pomocy AI i ocena własnych wyników.”

Dlaczego doświadczeni prawnicy zyskali

W wywiadach kontrolnych opisanych we wpisie na blogu doświadczeni prawnicy charakteryzowali AI jako „audytora logiki”, a nie gotowy produkt. Autorzy napisali, że narzędzie osłabiało ich przywiązanie do istniejącego tekstu i zmuszało do wyjaśniania, dlaczego i jak dokonują edycji strukturalnych.

„Można używać AI jako »audytora logiki« tylko wtedy, gdy zna się prawo wystarczająco dobrze, by dostrzec, kiedy płynny tekst jest wadliwy prawnie” — powiedział Autor Fortune. Dodał, że przekazanie podstawowego sporządzania projektów pozwoliło starszym prawnikom skupić się na strategicznym zakresie — „lesie, a nie drzewach”.

Podczas testu bez asysty — czytamy we wpisie — starsi prawnicy z grupy badanej pomijali teksty o niskiej wadze, odbudowywali roszczenia od zera, usuwali sformułowania mogące zawęzić ochronę prawną i wiązali wiele swoich poprawek z doktryną prawną.

Autor nie twierdził, że juniorzy powinni porzucić AI. Zamiast tego powiedział Fortune, że nowicjusze powinni pracować bardziej jak starsi: najpierw ująć argument bez pomocy, a potem użyć AI jako krytyka do testowania logiki. Przyznał, że to trudne podejście.

„Większość z nas nie ma samodyscypliny, by robić coś ręcznie, gdy tuż obok czeka łatwo dostępne, niewymagające wysłku narzędzie oferujące, że zrobi to za nas” — powiedział.

Ochrona ścieżki praktyk

Dla pracodawców lepsze wyniki mogą rodzić pokusę zatrudniania mniejszej liczby młodszych pracowników. Autor nazwał takie podejście krótkowzrocznym.

„Jeśli firmy zautomatyzują formacyjną praktykę, nie zastępując jej żadnym formą kierowanego środowiska nauki, przecinają ścieżkę praktyk, która rodzi jutrzejszych starszych partnerów” — powiedział Fortune.

Zasugerował, że firmy powinny rozróżnić zadania, które mogą być trwale wykonywane z pomocą AI, i zadania wymagające osądu, opanowane bez asysty. Mogłyby też łączyć wdrażanie AI z regularnymi sprawdzianami umiejętności bez asysty, np. ćwiczeniami offline w rodzaju redlining, oraz rozliczać partnerów z mentorowania młodych prawników wobec błędów technologii.

Autor podkreślał, że to propozycje, a nie sprawdzone rozwiązania. „To wczesny etap badań i praktyki w tym obszarze” — powiedział, dodając, że niewiele podejść zostało rygorystycznie zweryfikowanych.

Dokument wskazuje dalsze ograniczenia. Próbka była mała i pochodziła z kancelarii wykonujących stałą pracę patentową dla jednego wyrafinowanego klienta, a trzy miesiące to krótko w porównaniu z latami potrzebnymi na zbudowanie ekspercji patentowej. Wpis na blogu dodaje, że nowsze modele AI i szersza znajomość technologii mogłyby dać inne wyniki, gdyby eksperyment przeprowadzono dziś.

Badanie nie wykazuje, że AI uniemożliwia młodym prawnikom zostanie ekspertami w toku kariery.

Autor powiązał problem z wcześniejszymi pracami nad szokiem chińskim. Większość przewagi technologicznej — powiedział Fortune — wynika mniej z sprzętu czy planów, a bardziej z ludzkiej wiedzy praktycznej, budowanej powoli i mozolnie.

„Jeśli pomyślimy, że AI zwolni nas z ciężaru opanowania ekspercji, sądzę, że gorzko się zawiedziemy” — powiedział. „Ludzka inteligencja i maszynowa będą długo uzupełniać się wzajemnie.”

Historia była pierwotnie opublikowana na Fortune.com.