Поколению Z обещали, что искусственный интеллект станет великим уравнителем: инструментом, который позволит 24-летнему специалисту работать на уровне ветерана. Новое исследование экономиста Дэвида Отора позволяет предположить, что ИИ может вместо этого сокращать различия в текущей производительности, но увеличивать разрыв в базовых навыках.

В трехмесячном эксперименте с участием патентных юристов ИИ улучшил качество черновиков на всех уровнях опыта. Но когда исследователи забрали инструмент и проверили самостоятельность суждений юристов, среднее улучшение показали только опытные юристы. У младших юристов его не было.

«Наши результаты ставят под сомнение представление об ИИ как об автоматическом уравнителе навыков, — заявил Отор в письменных ответах Fortune. — Наши данные говорят о том, что это уравнитель производительности, но дифференциатор навыков: углубить свои базовые навыки смогли только те специалисты, у кого уже были фундаментальные ментальные модели».

В исследовании юристы были сгруппированы по опыту, а не по возрасту. «Старшими» считались юристы с практикой не менее семи лет, и исследователи не изучали поколение Z как отдельную группу. Тем не менее результаты больше всего касаются специалистов в начале карьеры, которые еще формируют профессиональную экспертизу.

От «шока из Китая» к ИИ

Отор возглавляет экономический факультет MIT и является приглашенным научным сотрудником Google по технологиям и обществу. Он наиболее известен концепцией «шока из Китая» (China shock), разработанной совместно с экономистами Дэвидом Дорном и Гордоном Хансоном. Их работа показала, что китайская импортная конкуренция нанесла долговременный ущерб американским производственным сообществам, которые адаптировались не так гладко, как предсказывали оптимистичные оценки глобализации.

На сильно затронутых рынках труда зарплаты и участие рабочей силы оставались подавленными, а безработица — повышенной, по меньшей мере целое десятилетие. Совсем недавно Отор и Хансон предупреждали о «шоке 2.0 из Китая»: китайской конкуренции в высокотехнологичных отраслях, которая может угрожать технологическому лидерству США и связанным с ним высокооплачиваемым рабочим местам.

Некоторые известные экономисты, в том числе Торст Слок из Apollo Global Management, утверждали, что «ИИ-шок» может быть схож с «шоком из Китая» по влиянию на американский рынок труда. Бхаскар Чакраворти из Университета Тафтса даже ввел выражение «проводной пояс» как аналог «Ржавого пояса».

Отор отверг это сравнение в подкасте Possible, который ведет сооснователь LinkedIn Рид Хоффман. Он сказал, что ИИ «ни в каком смысле не станет повторением торгового шока из Китая», поскольку тот был для американских компаний «чисто негативным конкурентным шоком», тогда как ИИ будет иметь «совершенно иную природу», повышая производительность.

Дискуссия об ИИ отчасти опирается на допущение, которое оспорил «шок из Китая»: как только технология берет на себя рутинную работу, работники естественным образом переходят к навыкам более высокого уровня. Отор сообщил Fortune, что его главная тревога в связи с ИИ — не массовая безработица.

«Опасность ИИ состоит не в том, что он устраняет большое количество рабочих мест в чистом выражении, а в том, что он ликвидирует одни области специализации, одновременно создавая новые, — сказал он. — Это звучит как разумная сделка, но работники, теряющие прежние карьеры, как правило, не те, кто сможет воспользоваться новыми ролями».

Эксперимент в сфере патентного права рассматривал более узкий вопрос: действительно ли работники, используя мощный новый инструмент, формируют экспертизу, необходимую для карьерного роста.

Лучшие черновики, неравномерное обучение

Отор и шесть соавторов опубликовали исследование в виде рабочего документа Национального бюро экономических исследований. Документ не прошел рецензирование: рабочие документы распространяются для обсуждения и комментариев до журнальной рецензии.

В исследовании участвовали 133 юриста из 11 американских юридических фирм в области интеллектуальной собственности, имеющих постоянные отношения с Google по составлению патентных документов. Исследователи случайным образом предоставили юристам доступ к кастомному ИИ-ассистенту по составлению патентов — на тот момент не выпущенному инструменту Google Labs. Две трети юристов получили доступ, остальные не использовали инструмент в течение исследования. Рандомизация — ключевая часть дизайна: поскольку доступ определялся случайно, различия в результатах между группами можно отнести на счет инструмента, а не заранее существовавших различий в способностях.

Роль Google не ограничилась предоставлением программного обеспечения. В статье шесть соавторов Отора указаны как сотрудники Google. Также в ней говорится, что Google провел исследование и оплатил его прямые расходы, а комитет MIT по исследованию с участием людей определил, что MIT в исследовании не участвовал. В письме в Fortune представители Google назвали статью независимым исследованием, которое Отор провел в рамках своей стипендии.

Юристы составляли патенты на основе симулированных материалов изобретателей через 10 дней и снова через 90 дней. Согласно статье, патентные поверенные независимой юридической фирмы оценивали работы, не зная, кто из юристов использовал ИИ. Они оценивали охраноспособность, точность, стратегическую неоднозначность, полноту и ясность.

Через 90 дней доступ к ИИ повысил оценки за составление документов на 0,38 стандартного отклонения. В публикации в блоге Google, сопровождающей статью, Отор и соавтор Таня Родченко описали этот результат как прирост в 11 процентильных пунктов относительно контрольной группы. В статье говорится, что улучшение произошло за счет сокращения слабых работ, а не увеличения числа отличных.

Более сложный тест ждал в конце эксперимента. Юристы должны были доработать гипотетический патент, который, по данным блога, содержал множество содержательных и стилистических ошибок. В статье это названо задачей, которую патентные юристы «регулярно выполняют без посторонней помощи». ИИ использовать запрещалось.

Опытные юристы, имевшие доступ к ИИ, превзошли коллег из контрольной группы 0,45 стандартного отклонения, говорится в статье. Младшие юристы не показали среднего прироста.

Исследование содержит ряд оговорок. Только 91 из 133 юристов завершил тест без ИИ. Фирмы отказались от начальной проверки навыков, поэтому исследователи делали выводы о приросте навыков из рандомизированного распределения, а не из измерений «до и после».

Авторы также отметили 15 из 91 доработок как возможно выполненные с помощью ИИ вопреки запрету; такие отметки встречались примерно так же часто и у юристов из контрольной группы. Без этих 15 работ преимущество старших юристов сократилось до 0,39 стандартного отклонения и сохраняло статистическую значимость на более мягком пороге. Общий эффект при этом не сохранился.

«Иллюзия компетентности»

По данным статьи, результаты младших юристов разделились по распределению: значительно больше низких оценок, меньше средних, больше хороших, но без улучшения среди самых высоких результатов. Авторы пишут, что ИИ «стал трамплином для одних младших юристов и подушкой для других».

В сопроводительном блоге описано, как младшие юристы работали с системой. Они, как правило, шли от начала документа к концу, шлифуя вводные формулировки до перехода к основным пунктам. Некоторые замечали серьезные проблемы, но оставляли комментарии с их описанием вместо исправлений. Младшие юристы в контрольной группе вели себя так же — паттерн, который авторы назвали «базовым дефицитом младших специалистов», который три месяца доступа к ИИ не устранил.

При этом младшие юристы отзывались об инструменте положительно. Отор сообщил Fortune, что младшие юристы с ИИ отметили всплеск удовлетворенности задачами — самый большой эффект в исследовании. По его словам, они считали, что обход «проблемы чистого листа» позволял им сразу перейти к роли рецензента. Эта удовлетворенность соседствовала с отсутствием среднего прироста в тесте без ИИ — разрывом между тем, как ощущалась работа, и тем, что показала самостоятельная производительность.

«Молодым специалистам следует опасаться иллюзии компетентности, — сказал Отор. — Единственный способ по-настоящему понять, развиваются ли у вас навыки, — выполнять задачи без помощи ИИ и оценивать свою производительность».

Почему опытные юристы выиграли

В последующих интервью, описанных в блоге, опытные юристы характеризовали ИИ как «аудитор логики», а не как готовый продукт. Авторы пишут, что инструмент ослабил их привязанность к существующему тексту и заставил объяснять, почему и как они вносят структурные правки.

«Можно утверждать, что использовать ИИ как “аудитора логики” способен лишь тот, кто уже знает право достаточно хорошо, чтобы замечать, когда гладкий текст юридически несостоятелен», — сказал Отор в комментарии Fortune. По его словам, делегирование базового составления позволило опытным юристам сосредоточиться на стратегическом охвате — «на лесе, а не на деревьях».

Во время теста без ИИ, говорится в блоге, старшие юристы из опытной группы пропускали малозначимые формулировки, заново выстраивали пункты с нуля, удаляли формулировки, способные сузить правовую защиту, и увязывали многие правки с правовой доктриной.

Отор не утверждает, что младшие юристы должны отказаться от ИИ. Напротив, он сообщил Fortune, что новичкам стоит работать скорее как опытные юристы: сначала сформулировать аргумент самостоятельно, а затем использовать ИИ как критика для проверки логики. Он признал, что такой подход труден.

«У большинства из нас не хватит самодисциплины делать что-то вручную, когда рядом лежит доступный и легкий инструмент, предлагающий сделать это за нас», — сказал он.

Сохранить систему наставничества

Для работодателей улучшение результатов может создать соблазн нанимать меньше младших специалистов. Отор назвал такой подход недальновидным.

«Если компании автоматизируют формирующую практику, не заменяя ее каким-либо управляемым обучением, они разрывают канал наставничества, который готовит завтрашних старших партнеров», — сказал он Fortune.

Он предложил компаниям разграничивать задачи, которые можно постоянно выполнять с помощью ИИ, и задачи, связанные с суждением, требующие самостоятельного мастерства. Компании также могли бы сочетать внедрение ИИ с регулярными проверками навыков без ИИ, например упражнениями по редактированию в офлайн-режиме, и возложить на партнеров ответственность за наставничество над младшими юристами при ошибках технологии.

Отор подчеркнул, что это предложения, а не доказанные решения. «В этой области исследований и практики еще ранние дни», — сказал он, добавив, что лишь немногие подходы были надежно подтверждены.

В статье перечислены и другие ограничения. Выборка была небольшой и состояла из фирм, выполняющих постоянную патентную работу для одного искушенного клиента, а три месяца — короткий срок по сравнению с годами, необходимыми для формирования патентной экспертизы. В блоге отмечается, что более новые модели и более широкая осведомленность об ИИ могли бы дать иные результаты, если бы эксперимент проводился сегодня.

Исследование не доказывает, что ИИ мешает младшим юристам стать экспертами в течение карьеры.

Отор связывает эту проблему со своей прежней работой о «шоке из Китая». Большая часть технологического преимущества, сказал он Fortune, проистекает не столько из оборудования или чертежей, сколько из человеческого ноу-хау, накопленного через медленное и трудное освоение.

«Если мы будем думать, что ИИ избавит нас от бремени овладения экспертизой, то, боюсь, будем жестоко разочарованы, — сказал он. — Человеческий и машинный интеллект надолго останутся взаимодополняющими».

Первоначально история была опубликована на Fortune.com.