Gen Z kreeg de belofte dat kunstmatige intelligentie een grote gelijkmaker zou zijn: een tool die een 24-jarige werk van hetzelfde niveau als dat van een ervaren professional laat produceren. Nieuw onderzoek van econoom David Autor suggereert dat AI het tegenovergestelde kan bewerkstelligen: het heeft misschien juist een vliegwiel voor de concurrentiepositie en een rem op de vaardigheidsontwikkeling.

In een drie maanden durend experiment met octrooiadvocaten verbeterde AI de kwaliteit van concepten bij alle ervaringsniveaus. Maar toen onderzoekers de tool wegnamen en het onafhankelijke oordeel van de advocaten toetsten, lieten alleen de ervaren advocaten een gemiddelde verbetering zien. De junioren niet.

"Onze resultaten weerleggen het idee dat AI vanzelf een gelijkmaker van vaardigheden is", zei Autor in schriftelijke antwoorden Fortune. "Onze data suggereren dat het een gelijkmaker van prestaties is, maar een ongelijkmaker van vaardigheden: alleen beoefenaars die al over fundamentele mentale modellen beschikten, konden hun onderliggende vaardigheden naar een hoger niveau tillen."

De studie groepeerde advocaten naar ervaring in plaats van leeftijd. "Senior" betekende ten minste zeven jaar praktijkervaring, en de onderzoekers hebben Gen Z niet als aparte groep onderzocht. De bevindingen zijn echter het meest direct relevant voor werknemers aan het begin van hun loopbaan, die hun professionele expertise nog aan het ontwikkelen zijn.

Van de China-schok naar AI

Autor is voorzitter van de economiefaculteit van MIT en Google Technology and Society Visiting Fellow. Hij is vooral bekend van de "China-schok", een onderzoek dat hij samen met economen David Dorn en Gordon Hanson ontwikkelde. Hun werk toonde aan dat de Chinese importconcurrentie blijvende schade toebracht aan Amerikaanse productiegemeenschappen, die zich niet zo soepel aanpasten als optimistische verhalen over globalisering hadden voorspeld.

In sterk blootgestelde arbeidsmarkten bleven lonen en arbeidsparticipatie laag en bleef de werkloosheid minstens tien jaar verhoogd. Meer recent waarschuwden Autor en Hanson voor een "China-schok 2.0": Chinese concurrentie in geavanceerde industrieën die de technologische leiding van Amerika en de bijbehorende hoogbetaalde banen zou kunnen bedreigen.

Enkele vooraanstaande economen, waaronder Torsten Slok van Apollo Global Management, hebben gezegd dat een "AI-schok" qua effect op de Amerikaanse arbeidsmarkt gelijkenissen met de China-schok zou kunnen vertonen. Bhaskar Chakravorti van Tufts bedacht de term "the wired belt" als tegenhanger van de roestbelt.

Autor verwierp die vergelijking in een aflevering van de Possible podcast, gepresenteerd door LinkedIn-medeoprichter Reid Hoffman. Hij zei dat AI "in geen enkel opzicht een herhaling van de China-handelsschok" zal zijn, omdat de China-schok door Amerikaanse bedrijven werd ervaren als een "puur negatieve concurrentieschok", terwijl AI een "heel ander karakter" zal hebben door de productiviteit te verhogen.

Het debat over AI steunt deels op een aanname die de China-schok ter discussie stelde: zodra technologie routinewerk overneemt, schuiven werknemers vanzelf door naar vaardigheden op hoger niveau. Autor vertelde Fortune dat zijn zorg over AI niet primair massale banenverlies is.

"Het gevaar dat we met AI kunnen tegenkomen is niet dat het netto grote aantallen banen elimineert, maar dat het bepaalde specialismen doet verdwijnen terwijl er tegelijk nieuwe ontstaan", zei hij. "Dat klinkt als een redelijke deal, maar de werknemers die hun oude loopbanen verliezen, zijn over het algemeen niet degenen die van de nieuwe rollen die ontstaan kunnen profiteren."

Het octrooirecht-experiment onderzocht een nieuwere vraag: of werknemers die een krachtige nieuwe tool gebruiken daadwerkelijk de expertise opbouwen die nodig is om vooruit te komen in hun vakgebied.

Beter concepten, ongelijke leeropbrengst

Autor en zes co-auteurs publiceerden de studie als een working paper van het National Bureau of Economic Research. Het paper is niet peer-reviewed — working papers worden verspreid voor discussie en commentaar vóór enige beoordeling door een tijdschrift.

Het onderzoek omvatte 133 advocaten bij 11 Amerikaanse IE-rechtspraktijken met doorlopende octrooicontentrelaties met Google. De onderzoekers wezen de advocaten willekeurig toegang toe tot een op maat gemaakte AI-octrooiassistant, destijds een nog niet uitgebrachte Google Labs-tool. Twee derde kreeg toegang, de rest gebruikte de tool tijdens de studie niet. Die randomisatie is centraal in het ontwerp: omdat de toegang door het lot werd bepaald, kunnen verschillen in uitkomsten tussen de twee groepen aan de tool worden toegeschreven en niet aan vooraf bestaande verschillen in capaciteit.

De rol van Google ging verder dan het leveren van de software. Het paper noemt de zes co-auteurs van Autor medewerkers van Google. Het stelt ook dat Google de studie uitvoerde en de directe kosten betaalde, terwijl de commissie mensgebonden onderzoek van MIT bepaalde dat MIT niet bij het onderzoek betrokken was. In een e-mail aan Fortune omschreven vertegenwoordigers van Google het paper als onafhankelijk onderzoek dat Autor uitvoerde als onderdeel van zijn fellowship.

De advocaten stelden octrooien op op van gesimuleerde uitvindersmateria, na 10 dagen en opnieuw na 90 dagen. Volgens het paper beoordeelden octrooiadvocaten van een onafhankelijk advocatenkantoor het werk zonder te weten welke advocaten AI hadden gebruikt. Zij beoordeelden handhaafbaarheid, nauwkeurigheid, strategische ambiguïteit, volledigheid en helderheid.

Na 90 dagen verhoogde toegang tot AI de ontwerpscores met 0,38 standaarddeviaties. In een Google-blogpost bij het paper omschreven Autor en co-auteur Tanya Rodchenko dat resultaat als een winst van 11 percentielpunten ten opzichte van de controlegroep. Het paper stelde dat de verbetering voortkwam uit een afname van zwak werk in plaats van een toename van uitstekend werk.

De moeilijkere test kwam aan het einde van het experiment. De advocaten moesten een hypothetisch octrooi van aantekeningen voorzien dat volgens de blogpost tal van inhoudelijke en stijlvolle fouten bevatte. Het paper noemde de opdracht een taak die octrooiadvocaten "normaal gesproken zonder hulp uitvoeren". AI was niet toegestaan.

Senior advocaten die AI-toegang hadden gehad, presteerden 0,45 standaarddeviaties beter dan hun collega's in de controlegroep, aldus het paper. Junior advocaten lieten geen gemiddelde winst zien.

De studie kende enkele kanttekeningen. Slechts 91 van de 133 advocaten voltooiden de test zonder AI. De kantoren weigerden aan het begin van het experiment een vaardigheidstest af te nemen, dus de onderzoekers leidden vaardigheidswinst af uit de willekeurige toewijzing in plaats van vaardigheden voor en na de proef te meten.

De auteurs merkten bovendien 15 van de 91 aantekeningen aan als mogelijk met AI gemaakt ondanks het verbod. Dergelijke vlaggen kwamen bij de controlegroep ongeveer even vaak voor. Na uitsluiting van die 15 aantekeningen daalde het voordeel voor senior advocaten naar 0,39 standaarddeviat en bleef het statistisch significant bij een lossere drempel. Het algemene effect bleef niet bestaan.

De "illusie van competentie"

De prestaties van junior advocaten waren verdeeld over de verdeling, aldus het paper. Er waren aanzienlijk meer slechte scores, minder middelmatige scores en meer goede scores, maar geen verbetering bij de hoogst scorende junioren. De auteurs schreven dat AI "voor sommige junioren een springplank was en voor anderen een kussen".

De bijbehorende blogpost beschreef hoe junior advocaten het systeem gebruikten. Ze werkten doorgaans van het begin van een document naar het einde en polijsten de inleidende tekst voordat ze bij de hoofdclaims aankwamen. Sommigen signaleerden ernstige problemen, maar lieten opmerkingen achter waarin ze die beschreven in plaats van ze te corrigeren. Junior advocaten in de controlegroep gedroegen zich op dezelfde manier, een patroon dat de auteurs een "basale juniortekortkoming" noemden en dat drie maanden AI-toegang niet wegnam.

Desondanks rapporteerden de junior advocaten een positieve ervaring met de tool. Autor vertelde Fortune dat junior advocaten met AI-assistentie een sterke toename in taaktevredenheid rapporteerden, het grootste effect van dat type in de studie. Ze zeiden dat het omzeilen van het "probleem van het witte blad" hen direct in de rol van beoordelaar bracht, aldus Autor. Die tevredenheid stond naast het ontbreken van gemiddelde winst in de test zonder hulp — een kloof tussen hoe het werk aanvoelde en wat de onafhankelijke prestatie liet zien.

"Jonge professionals moeten op hun hoede zijn voor de illusie van competentie", zei Autor. "De enige manier om echt te weten of je vaardigheden ontwikkelt, is door taken zonder AI-assistentie uit te voeren en je prestaties te evalueren."

Waarom ervaren advocaten vooruitgingen

In vervolginterviews die in de blogpost worden beschreven, karakteriseerden ervaren advocaten AI als een "logica-auditor", niet als een eindproduct. De auteurs schreven dat de tool hun gehechtheid aan bestaande tekst verzwakte en hen dwong uit leggen waarom en hoe ze structurele bewerkingen uitvoerden.

"Je kunt AI naar eigen zeggen alleen als 'logica-auditor' gebruiken als je het recht al goed genoeg kent om te zien wanneer vloeiende tekst juridisch mank gaat", vertelde Autor aan Fortune. Hij zei dat het uitbesteden van het basisontwerp senior advocaten in staat stelde zich te richten op strategische reikwijdte — "het bos, niet de bomen".

Bij de test zonder hulp, aldus de blogpost, sloegen behandelde senior advocaten teksten met lage inzet over, herbouwden claims van de grond af, verwijderden taal die de juridische bescherming zou kunnen beperken en verbonden veel van hun bewerkingen aan rechtsleer.

Autor zei niet dat junior advocaten AI moeten laten staan. In plaats daarvan vertelde hij Fortune dat beginners meer als senior advocaten moeten werken door eerst zonder hulp een argument op te zetten en AI vervolgens als criticus te gebruiken om de logica op de proef te stellen. Hij erkende dat die aanpak lastig is.

"De meesten van ons hebben niet de zelfdiscipline om dingen met de hand te doen terwijl er een gemakkelijk beschikbare, minimale-inspanning-tool klaarstaat die het aanbiedt om het voor ons te doen", zei hij.

Het leerlingtraject beschermen

Voor werkgevers kan betere output een prikkel creëren om minder junior medewerkers aan te nemen. Autor noemde die aanpak kortzichtig.

"Als bedrijven vormend oefenen automatiseren zonder dit te vervangen door een vorm van begeleide leeromgeving, doorzien ze het leerlingtraject dat de senior partners van morgen voortbrengt", vertelde hij aan Fortune.

Hij stelde voor dat bedrijven onderscheid maken tussen taken die permanent met AI-assistentie kunnen worden uitgevoerd en oordeelsvormende taken die beheersing zonder hulp vereisen. Bedrijven kunnen AI-uitrolen ook combineren met regelmatige vaardigheidscontroles zonder hulp, zoals offline redlining-oefeningen, en partners verantwoordelijk houden voor het begeleiden van junior advocaten door de fouten van de technologie heen.

Autor benadrukte dat dit voorstellen zijn en geen bewezen oplossingen. "Het is nog vroeg in vakgebied van onderzoek en praktijk", zei hij, eraan toevoegend dat weinig benaderingen stevig zijn gevalideerd.

Het paper noemt aanvullende beperkingen. De steekproef was klein en afkomstig van kantoren die doorlopend octrooiwerk verrichten voor één veeleisende klant. Bovendien is drie maanden een korte periode vergeleken met de jaren die nodig zijn om octrooiexpertise op te bouwen. De blogpost stelde dat nieuwere AI-modellen en bredere vertrouwdheid met de technologie tot andere resultaten zouden kunnen leiden als het experiment vandaag zou worden uitgevoerd.

De studie toont niet aan dat AI junior advocaten er op termijn van weerhoudt experts te worden gedurende hun loopbaan.

Autor verbond het onderwerp met zijn eerdere werk over de China-schok. Het grootste deel van technologische voorsprong, vertelde hij Fortune, komt minder van apparatuur of blauwdrukken dan van menselijke knowhow die wordt opgebouwd door langzaam en moeizaame beheersing.

"Als we denken dat AI ons van de last van het beheersen van expertise ontslaat, zullen we volgens mij pijnlijk worden teleurgesteld", zei hij. "Menselijke intelligentie en machine-intelligentie zullen op de lange termijn complementair zijn."

Het verhaal verscheen oorspronkelijk op Fortune.com.