Alla Gen Z era stato promesso che l’intelligenza artificiale sarebbe stata un grande strumento di livellamento: una tecnologia capace di consentire a un ventiquattrenne di produrre un lavoro paragonabile a quello di un professionista esperto. Una nuova ricerca dell’economista David Autor suggerisce invece che l’IA possa ridurre le differenze nelle prestazioni immediate, ampliando al contempo i divari nelle competenze sottostanti.

In un esperimento di tre mesi condotto con avvocati specializzati in brevetti, l’IA ha migliorato la qualità delle bozze a prescindere dal livello di esperienza. Ma quando i ricercatori hanno rimosso lo strumento e testato il giudizio indipendente degli avvocati, solo quelli esperti hanno mostrato un miglioramento medio. Gli avvocati junior non lo hanno mostrato.

“I nostri risultati mettono in discussione l’idea che l’IA sia automaticamente uno strumento di livellamento delle competenze”, ha dichiarato Autor in risposte scritte a Fortune. “I nostri dati suggeriscono che sia uno strumento di livellamento delle prestazioni, ma di differenziazione delle competenze, nel senso che solo i professionisti che possedevano già modelli mentali fondamentali sono riusciti a rafforzare le proprie competenze di base.”

Lo studio ha suddiviso gli avvocati in base all’esperienza, non all’età. Per “senior” si intendevano avvocati con almeno sette anni di pratica, e i ricercatori non hanno analizzato la Gen Z come gruppo separato. Tuttavia, i risultati riguardano più direttamente i lavoratori a inizio carriera, ancora impegnati nello sviluppo della propria competenza professionale.

Dallo shock cinese all’IA

Autor dirige il dipartimento di economia del MIT ed è Google Technology and Society Visiting Fellow. È noto soprattutto per lo “shock cinese”, un filone di ricerca sviluppato insieme agli economisti David Dorn e Gordon Hanson. Il loro lavoro ha rilevato che la concorrenza delle importazioni cinesi ha danneggiato in modo duraturo le comunità manifatturiere statunitensi, che non si sono adattate con la stessa fluidità prevista dalle interpretazioni ottimistiche della globalizzazione.

Nei mercati del lavoro maggiormente esposti, i salari e il tasso di partecipazione alla forza lavoro sono rimasti depressi, mentre la disoccupazione è rimasta elevata per almeno un decennio. Più recentemente, Autor e Hanson hanno lanciato l’allarme su uno “shock cinese 2.0”, riferito alla concorrenza cinese nei settori avanzati, che potrebbe minacciare la leadership tecnologica statunitense e i posti di lavoro ad alto salario associati a essa.

Alcuni economisti di primo piano, tra cui Torsten Slok di Apollo Global Management, hanno affermato che uno “shock dell’IA” potrebbe presentare analogie con lo shock cinese per quanto riguarda gli effetti sulla forza lavoro statunitense. Bhaskar Chakravorti della Tufts ha coniato l’espressione “cintura cablata” come parallelo alla Rust Belt.

Autor ha respinto questo paragone durante un’apparizione al podcast Possible, condotto dal cofondatore di LinkedIn Reid Hoffman. Ha affermato che l’IA “non sarà in alcun senso una ripetizione dello shock commerciale cinese”, perché lo shock cinese è stato vissuto dalle aziende statunitensi come uno “shock competitivo puramente negativo”, mentre l’IA avrebbe una “trama molto diversa” grazie all’aumento della produttività.

Il dibattito sull’IA si basa in parte su un’ipotesi messa in discussione dallo shock cinese: una volta che la tecnologia si fa carico del lavoro di routine, i lavoratori avanzeranno naturalmente verso competenze di livello superiore. Autor ha dichiarato a Fortune che la sua preoccupazione per l’IA non riguarda principalmente la perdita di posti di lavoro su larga scala.

“Il pericolo che potremmo affrontare con l’IA non è che elimini complessivamente un gran numero di posti di lavoro, ma che elimini alcune aree di specializzazione creandone contemporaneamente di nuove”, ha affermato. “Sembra un accordo ragionevole, ma i lavoratori che perdono le loro vecchie carriere generalmente non sono quelli che riusciranno a sfruttare i nuovi ruoli che emergeranno.”

L’esperimento nel settore brevettuale ha esaminato una domanda più circoscritta: se i lavoratori che utilizzano un nuovo strumento potente stiano effettivamente sviluppando le competenze necessarie per avanzare nel proprio campo.

Bozze migliori, apprendimento disomogeneo

Autor e sei coautori hanno pubblicato lo studio come working paper del National Bureau of Economic Research. Il documento non è stato sottoposto a revisione tra pari — i working paper vengono diffusi per discussione e commenti prima di un’eventuale revisione accademica.

La ricerca ha coinvolto 133 avvocati di 11 studi legali statunitensi specializzati in proprietà intellettuale, che intrattenevano rapporti continuativi con Google per la redazione di brevetti. I ricercatori hanno assegnato casualmente agli avvocati l’accesso a un assistente personalizzato per la redazione di brevetti basato sull’IA, allora uno strumento non ancora rilasciato di Google Labs. Due terzi hanno ricevuto l’accesso, mentre il resto non ha utilizzato lo strumento durante lo studio. La randomizzazione è centrale per il disegno della ricerca: poiché l’accesso è stato deciso casualmente, le differenze negli esiti tra i due gruppi possono essere ricondotte allo strumento e non a differenze preesistenti nelle capacità.

Il ruolo di Google è andato oltre la semplice fornitura del software. Il documento identifica i sei coautori di Autor come dipendenti di Google. Afferma inoltre che Google ha condotto lo studio e ne ha sostenuto i costi diretti, mentre il comitato del MIT per la tutela dei soggetti umani ha stabilito che il MIT non era coinvolto nella ricerca. In un’e-mail a Fortune, i rappresentanti di Google hanno descritto il documento come una ricerca indipendente condotta da Autor nell’ambito del suo fellowship.

Gli avvocati hanno redatto brevetti a partire da materiali simulati forniti dagli inventori dopo 10 giorni e nuovamente dopo 90 giorni. Secondo il documento, avvocati specializzati in brevetti presso uno studio legale indipendente hanno valutato il lavoro senza sapere quali professionisti avessero utilizzato l’IA. Hanno esaminato la validità giuridica, l’accuratezza, l’ambiguità strategica, la completezza e la chiarezza.

Dopo 90 giorni, l’accesso all’IA ha aumentato i punteggi di redazione di 0.38 deviazioni standard. In un post sul blog di Google che accompagnava il documento, Autor e la coautrice Tanya Rodchenko hanno descritto il risultato come un guadagno di 11 punti percentili rispetto al gruppo di controllo. Secondo il documento, il miglioramento è derivato dalla riduzione dei lavori deboli, non dall’aumento dei lavori eccellenti.

Il test più difficile è arrivato alla fine dell’esperimento. Gli avvocati dovevano annotare una domanda di brevetto ipotetica che, secondo il post sul blog, conteneva numerosi errori sostanziali e stilistici. Il documento descriveva l’esercizio come un’attività che gli avvocati specializzati in brevetti “svolgono abitualmente senza assistenza”. L’IA non era consentita.

Gli avvocati senior che avevano ricevuto l’accesso all’IA hanno superato i colleghi del gruppo di controllo di 0.45 deviazioni standard, secondo il documento. Gli avvocati junior non hanno mostrato alcun miglioramento medio.

Lo studio includeva diverse cautele. Solo 91 dei 133 avvocati hanno completato il test senza IA. Gli studi legali hanno rifiutato di somministrare un test delle competenze all’inizio dell’esperimento, pertanto i ricercatori hanno dedotto i miglioramenti dalle assegnazioni casuali invece di misurare le competenze prima e dopo la sperimentazione.

Gli autori hanno inoltre segnalato 15 delle 91 revisioni come potenzialmente assistite dall’IA nonostante il divieto. Queste segnalazioni sono comparse con frequenza simile tra gli avvocati del gruppo di controllo. Dopo aver escluso le 15 revisioni, il vantaggio degli avvocati senior è sceso a 0.39 deviazioni standard e ha mantenuto la significatività statistica a una soglia meno rigorosa, secondo il documento. L’effetto complessivo, invece, non è rimasto.

L’“illusione di competenza”

Secondo il documento, le prestazioni degli avvocati junior si sono distribuite in modo divergente. Si sono registrati significativamente più punteggi scarsi, meno punteggi mediocri e più punteggi buoni, ma nessun miglioramento tra i junior con i punteggi più elevati. Gli autori hanno scritto che l’IA “ha funzionato da trampolino per alcuni junior e da cuscinetto per altri”.

Il post sul blog ha descritto il modo in cui gli avvocati junior utilizzavano il sistema. In genere lavoravano dall’inizio alla fine del documento, perfezionando il testo introduttivo prima di arrivare alle rivendicazioni principali. Alcuni individuavano problemi gravi, ma lasciavano commenti per descriverli invece di correggerli. Gli avvocati junior del gruppo di controllo si comportavano in modo simile, secondo un modello che gli autori hanno definito “un deficit di base dei junior”, non eliminato da tre mesi di accesso all’IA.

Gli avvocati junior hanno comunque riferito un’esperienza positiva con lo strumento. Autor ha dichiarato a Fortune che gli avvocati junior assistiti dall’IA hanno segnalato un forte aumento della soddisfazione per il compito, il maggiore effetto di questo tipo nello studio. Secondo Autor, hanno affermato che bypassare il “problema della pagina bianca” consentiva loro di assumere direttamente il ruolo di revisori. Questa soddisfazione coesisteva con l’assenza di miglioramenti medi nel test senza assistenza — un divario tra la percezione del lavoro e ciò che mostravano effettivamente le prestazioni indipendenti.

“I giovani professionisti devono guardarsi dall’illusione di competenza”, ha affermato Autor. “L’unico modo per sapere davvero se state sviluppando le vostre competenze è svolgere attività senza l’assistenza dell’IA e valutare le vostre prestazioni.”

Perché gli avvocati esperti sono migliorati

Nelle interviste successive descritte nel post sul blog, gli avvocati esperti hanno definito l’IA un “revisore della logica”, non un prodotto finito. Gli autori hanno scritto che lo strumento ha indebolito il loro attaccamento al testo esistente e li ha costretti a esplicitare perché e come stavano apportando modifiche strutturali.

“Si potrebbe sostenere che si può utilizzare l’IA come ‘revisore della logica’ solo se si conosce già abbastanza bene il diritto da individuare quando un testo fluido presenta difetti giuridici”, ha dichiarato Autor a Fortune. Secondo lui, delegare la redazione di base ha permesso agli avvocati senior di concentrarsi sull’ampiezza strategica — “sulla foresta, non sugli alberi”.

Durante il test senza assistenza, secondo il post sul blog, gli avvocati senior del gruppo sperimentale hanno saltato il testo a bassa rilevanza, ricostruito le rivendicazioni da zero, eliminato le formulazioni che avrebbero potuto restringere la tutela giuridica e collegato molte delle proprie modifiche alla dottrina giuridica.

Autor non ha affermato che gli avvocati junior debbano abbandonare l’IA. Al contrario, ha detto a Fortune che i principianti dovrebbero lavorare più come gli avvocati senior: definire prima un’argomentazione senza assistenza e poi utilizzare l’IA come critica per sottoporre la logica a una verifica rigorosa. Ha riconosciuto che questo approccio è difficile.

“La maggior parte di noi non ha l’autodisciplina necessaria per fare le cose a mano quando c’è proprio lì uno strumento facilmente disponibile, poco impegnativo e pronto a farle al posto nostro”, ha affermato.

Proteggere il percorso di apprendistato

Per i datori di lavoro, il miglioramento della produzione potrebbe creare un incentivo ad assumere meno lavoratori junior. Autor ha definito questo approccio miope.

“Se gli studi automatizzano la pratica formativa senza sostituirla con una qualche forma di ambiente di apprendimento guidato, interrompono il percorso di apprendistato che forma i senior partner di domani”, ha dichiarato a Fortune.

Ha suggerito agli studi di distinguere tra le attività che possono essere svolte in modo permanente con l’assistenza dell’IA e quelle basate sul giudizio che richiedono una padronanza senza assistenza. Le aziende potrebbero inoltre affiancare l’introduzione dell’IA a verifiche periodiche delle competenze senza assistenza, come esercizi di revisione offline, e rendere i partner responsabili del tutoraggio degli avvocati junior durante gli errori della tecnologia.

Autor ha sottolineato che si tratta di proposte, non di soluzioni comprovate. “Siamo ancora agli inizi in quest’area della ricerca e della pratica”, ha affermato, aggiungendo che pochi approcci sono stati validati in modo solido.

Il documento individua ulteriori limiti. Il campione era ridotto e proveniva da studi legali che svolgevano attività brevettuale continuativa per un unico cliente sofisticato. Inoltre, tre mesi sono un periodo breve rispetto agli anni necessari per sviluppare competenze in materia di brevetti. Il post sul blog osserva che modelli di IA più recenti e una maggiore familiarità con la tecnologia potrebbero produrre risultati diversi se l’esperimento fosse condotto oggi.

Lo studio non dimostra che l’IA impedisca agli avvocati junior di diventare esperti nel corso della loro carriera.

Autor ha collegato la questione al suo precedente lavoro sullo shock cinese. Secondo quanto ha dichiarato a Fortune, la maggior parte del vantaggio tecnologico deriva meno da apparecchiature o progetti che dal know-how umano sviluppato attraverso una padronanza lenta e impegnativa.

“Se pensiamo che l’IA ci solleverà dall’onere di acquisire una competenza approfondita, credo che rimarremo fortemente delusi”, ha affermato. “L’intelligenza umana e quella delle macchine saranno complementari nel lungo periodo.”

La storia è stata pubblicata originariamente su Fortune.com.