On avait promis à la génération Z que l'intelligence artificielle serait un grand égalisateur : un outil permettant à un jeune de 24 ans de produire un travail comparable à celui d'un vétéran. De nouvelles recherches de l'économiste David Autor suggèrent que l'IA pourrait au contraire réduire les écarts de performance immédiate tout en creusant les écarts de compétences fondamentales.

Dans une expérience de trois mois impliquant des avocats en brevets, l'IA a amélioré la qualité des rédactions à tous les niveaux d'expérience. Mais lorsque les chercheurs ont retiré l'outil et testé le jugement indépendant des avocats, seuls les avocats expérimentés ont montré une amélioration moyenne. Pas les juniors.

« Nos résultats remettent en question l'idée que l'IA serait un égalisateur automatique de compétences », a déclaré Autor dans des réponses écrites à Fortune. « Nos données suggèrent que c'est un égalisateur de performance, mais un déségalisateur de compétences, en ce sens que seuls les praticiens disposant déjà de modèles mentaux fondamentaux ont pu élever leur niveau de compétences sous-jacentes. »

L'étude a regroupé les avocats par expérience plutôt que par âge. Les avocats « seniors » comptaient au moins sept années de pratique, et les chercheurs n'ont pas examiné la génération Z en tant que groupe distinct. Cependant, les conclusions concernent plus directement les jeunes actifs qui sont encore en train de développer leur expertise professionnelle.

Du choc chinois à l'IA

Autor dirige le département d'économie du MIT et est Google Technology and Society Visiting Fellow. Il est surtout connu pour le « choc chinois », un ensemble de travaux développés avec les économistes David Dorn et Gordon Hanson. Leurs recherches ont montré que la concurrence des importations chinoises a causé des dommages durables aux communautés manufacturières américaines, qui ne se sont pas adaptées aussi facilement que les récits optimistes de la mondialisation l'avaient prédit.

Dans les marchés du travail fortement exposés, les salaires et le taux d'activité sont restés déprimés tandis que le chômage est resté élevé pendant au moins une décennie. Plus récemment, Autor et Hanson ont mis en garde contre un « choc chinois 2.0 », faisant référence à la concurrence chinoise dans les industries de pointe qui pourrait menacer le leadership technologique américain et les emplois bien rémunérés qui y sont associés.

Certains économistes éminents, dont Torsten Slok d'Apollo Global Management, ont déclaré qu'un « choc IA » pourrait présenter des similitudes avec le choc chinois dans son effet sur la main-d'œuvre américaine. Bhaskar Chakravorti de Tufts a forgé l'expression « the wired belt » en parallèle de la Rust Belt.

Autor a rejeté cette comparaison lors d'une apparition sur le podcast Possible, animé par le cofondateur de LinkedIn Reid Hoffman. Il a déclaré que l'IA « ne sera en aucun cas une répétition du choc commercial chinois » car le choc chinois a été vécu par les entreprises américaines comme un « choc concurrentiel purement négatif », tandis que l'IA aura une « texture très différente » en augmentant la productivité.

Le débat sur l'IA repose en partie sur une hypothèse que le choc chinois a remise en cause : une fois que la technologie prend en charge le travail routinier, les travailleurs progresseront naturellement vers des compétences de niveau supérieur. Autor a déclaré à Fortune que sa préoccupation concernant l'IA n'est pas principalement la perte massive d'emplois.

« Le danger auquel nous pourrions être confrontés avec l'IA n'est pas qu'elle supprime un grand nombre d'emplois en termes nets, mais qu'elle élimine certains domaines de spécialité tout en en créant de nouveaux simultanément », a-t-il déclaré. « Cela semble être un arrangement raisonnable, mais les travailleurs qui perdent ces anciennes carrières ne sont généralement pas ceux qui pourront profiter des nouveaux rôles qui émergent. »

L'expérience en droit des brevets a examiné une question plus étroite : les travailleurs utilisant un nouvel outil puissant développent-ils réellement l'expertise nécessaire pour progresser dans leur domaine ?

De meilleures rédactions, un apprentissage inégal

Autor et six coauteurs ont publié l'étude sous forme de document de travail du National Bureau of Economic Research. Le document n'a pas fait l'objet d'une évaluation par les pairs — les documents de travail sont diffusés pour discussion et commentaires avant toute révision par une revue.

La recherche a recruté 133 avocats dans 11 cabinets américains de propriété intellectuelle entretenant des relations continues de rédaction de brevets avec Google. Les chercheurs ont assigné de manière aléatoire aux avocats l'accès à un assistant de rédaction de brevets par IA sur mesure, alors un outil Google Labs non encore lancé. Deux tiers ont reçu l'accès, tandis que les autres n'ont pas utilisé l'outil pendant l'étude. Cette randomisation est au cœur du dispositif : comme l'accès a été décidé par hasard, les différences de résultats entre les deux groupes peuvent être attribuées à l'outil plutôt qu'à des différences de capacité préexistantes.

Le rôle de Google allait au-delà de la fourniture du logiciel. Le document identifie les six coauteurs d'Autor comme des employés de Google. indique également que Google a mené l'étude et payé ses coûts directs, tandis que le comité d'éthique sur les sujets humains du MIT a déterminé que le MIT n'était pas impliqué dans la recherche. Dans un courriel à Fortune, des représentants de Google ont décrit le document comme une recherche indépendante menée par Autor dans le cadre de son poste de fellow.

Les avocats ont rédigé des brevets à partir de documents d'inventeur simulés après 10 jours, puis après 90 jours. Selon le document, des avocats spécialisés en brevets d'un cabinet indépendant ont noté le travail sans savoir quels avocats avaient utilisé l'IA. Ils ont évalué la force exécutoire, l'exactitude, l'ambiguïté stratégique, l'exhaustivité et la clarté.

Après 90 jours, l'accès à l'IA a augmenté les scores de rédaction de 0,38 écart-type. Dans un article de blog de Google accompagnant le document, Autor et sa coauteure Tanya Rodchenko ont décrit ce résultat comme un gain de 11 points de percentile par rapport au groupe témoin. Le document indique que l'amélioration provenait d'une réduction des travaux faibles plutôt que d'une augmentation des travaux excellents.

Le test le plus difficile est venu à la fin de l'expérience. Les avocats devaient annoter un brevet hypothétique qui, selon l'article de blog, contenait de nombreuses erreurs de fond et de forme. Le document a décrit l'exercice comme une tâche que les avocats en brevets « accomplissent habituellement sans assistance ». L'IA n'était pas autorisée.

Les avocats seniors ayant eu accès à l'IA ont surpassé leurs pairs du groupe témoin de 0,45 écart-type, selon le document. Les avocats juniors n'ont montré aucun gain moyen.

L'étude comportait plusieurs réserves. Seuls 91 des 133 avocats ont terminé le test sans IA. Les cabinets ont refusé d'administrer un test de compétences au début de l'expérience, de sorte que les chercheurs ont déduit les gains de compétences de l'assignation aléatoire plutôt que de mesurer les compétences avant et après l'essai.

Les auteurs ont également signalé 15 des 91 annotations comme ayant possiblement été assistées par l'IA malgré l'interdiction. De tels signalements sont apparus à peu près aussi souvent chez les avocats du groupe témoin. Après exclusion de ces 15 annotations, indique le document, l'avantage des avocats seniors est descendu à 0,39 écart-type et est resté statistiquement significatif à un seuil plus souple. L'effet global, lui, n'est pas resté.

L'« illusion de compétence »

La performance des avocats juniors s'est répartie sur l'ensemble de la distribution, selon le document. Il y avait significativement plus de mauvais scores, moins de scores moyens et plus de bons scores, mais aucune amélioration parmi les juniors les mieux notés. Les auteurs ont écrit que l'IA « a servi de tremplin pour certains juniors et de coussin pour d'autres ».

L'article de blog accompagnant l'étude décrit comment les avocats juniors utilisaient le système. Ils travaillaient généralement du début à la fin du document, polissant le texte d'introduction avant d'atteindre les revendications principales. Certains ont identifié des problèmes sérieux mais ont laissé des commentaires les décrivant au lieu de les corriger. Les avocats juniors du groupe témoin se sont comportés de manière similaire, un schéma que les auteurs ont appelé « un déficit de base des juniors » que trois mois d'accès à l'IA n'ont pas éliminé.

Les avocats juniors ont néanmoins rapporté une expérience positive avec l'outil. Autor a déclaré à Fortune que les avocats juniors assistés par l'IA ont rapporté une forte hausse de la satisfaction au travail, le plus grand effet de ce type dans l'étude. Ils ont dit que le fait de contourner le « problème de la page blanche » leur permettait de passer directement dans le rôle d'un réviseur, a-t-il déclaré. Cette satisfaction coexistait avec l'absence de gains moyens au test sans assistance — un écart entre ce que le travail ressentait et ce que la performance indépendante montrait réellement.

« Les jeunes professionnels doivent se méfier de l'illusion de compétence », a déclaré Autor. « La seule façon de vraiment savoir si vous développez vos compétences est d'accomplir des tâches sans assistance d'IA et d'évaluer votre performance. »

Pourquoi les avocats expérimentés ont progressé

Dans des entretiens de suivi décrits dans l'article de blog, les avocats expérimentés ont caractérisé l'IA comme un « auditeur logique », et non comme un produit fini. Les auteurs ont écrit que l'outil a affaibli leur attachement au texte existant et les a obligés à expliquer pourquoi et comment ils effectuaient leurs modifications structurelles.

« On peut soutenir que l'on ne peut utiliser l'IA comme un « auditeur logique » que si l'on connaît déjà le droit suffisamment bien pour repérer quand un texte fluide est juridiquement défaillant », a déclaré Autor à Fortune. Il a dit que déléguer la rédaction de base permettait aux avocats seniors de se concentrer sur la portée stratégique — « la forêt plutôt que les arbres ».

Lors du test sans assistance, indique l'article de blog, les avocats seniors du groupe traité ont ignoré les passages à faible enjeu, reconstruit les revendications à partir de zéro, supprimé le langage susceptible de restreindre la protection juridique et relié nombre de leurs modifications à la doctrine juridique.

Autor n'a pas dit que les avocats juniors devraient abandonner l'IA. Il a plutôt déclaré à Fortune que les novices devraient travailler davantage comme les avocats seniors en structurant d'abord un argument sans assistance, puis en utilisant l'IA comme un critique pour éprouver la logique. Il a reconnu que cette approche est difficile.

« La plupart d'entre nous n'ont pas la discipline de faire les choses à la main quand un outil peu coûteux en effort est juste là, prêt à le faire pour nous », a-t-il déclaré.

Protéger le pipeline d'apprentissage

Pour les employeurs, l'amélioration des résultats pourrait créer une incitation à embaucher moins de jeunes travailleurs. Autor a qualifié cette approche de courte vue.

« Si les entreprises automatisent la pratique formatrice sans la remplacer par un environnement d'apprentissage guidé, elles sectionnent le pipeline d'apprentissage qui produit les associés seniors de demain », a-t-il déclaré à Fortune.

Il a suggéré que les entreprises distinguent les tâches pouvant être accomplies de façon permanente avec l'assistance de l'IA des tâches de jugement exigeant une maîtrise sans assistance. Les entreprises pourraient également combiner les déploiements d'IA avec des vérifications régulières de compétences sans assistance, comme des exercices d'annotation hors ligne, et tenir les associés responsables de l'encadrement des jeunes avocats face aux erreurs de la technologie.

Autor a souligné qu'il s'agit de propositions plutôt que de solutions éprouvées. « Nous n'en sommes qu'aux débuts dans ce domaine de recherche et de pratique », a-t-il déclaré, ajoutant que peu d'approches ont été solidement validées.

Le document identifie d'autres limites. L'échantillon était restreint et provenait de cabinets effectuant des travaux de brevets continus pour un seul client sophistiqué. De plus, trois mois constituent une courte période comparée années nécessaires pour développer une expertise en brevets. L'article de blog indique que des modèles d'IA plus récents et une meilleure familiarité avec la technologie pourraient produire des résultats différents si l'expérience était menée aujourd'hui.

L'étude n'établit pas que l'IA empêche les jeunes avocats de devenir des experts au cours de leur carrière.

Autor a relié la question à ses travaux antérieurs sur le choc chinois. La plupart des avantages technologiques, a-t-il déclaré à Fortune, proviennent moins des équipements ou des plans que du savoir-faire humain développé par une maîtrise lente et difficile.

« Si nous pensons que l'IA nous soulagera du fardeau de la maîtrise de l'expertise, je pense que nous serons cruellement déçus », a-t-il déclaré. « L'intelligence humaine et l'intelligence artificielle seront des compléments sur le long terme. »

L'article était initialement publié sur Fortune.com.