人们曾向Z世代承诺,人工智能将是伟大的均衡器:一种能让24岁的年轻人产出媲美资深人士的工作成果的工具。经济学家David Autor的最新研究却表明,AI可能起到相反的作用——它缩小了即时表现上的差距,却可能扩大底层技能的差距。

在一项涉及专利律师的三个月实验中,AI提升了各经验层级律师的草稿质量。但当研究人员移除工具并测试律师的独立判断力时,只有经验丰富的律师表现出平均提升,初级律师则没有。

“我们的结果挑战了AI是自动技能均衡器的观点,”Autor在书面回复《Fortune》时表示。“我们的数据表明,它是表现均衡器,却是技能非均衡器——只有那些已经具备基础心智模型的从业者,才能借此提升其底层技能。”

该研究按经验而非年龄对律师进行分组。“资深”律师指执业七年以上的律师,研究人员也没有将Z世代作为一个独立群体进行研究。不过,研究结果与仍在积累专业经验的职场新人最为直接相关。

从中国冲击到AI

Autor是MIT经济学系主任,同时也是Google技术与 society 客座研究员。他最广为人知的是与经济学家David Dorn和Gordon Hanson共同发展的“中国冲击”研究。他们的研究发现,中国进口竞争对美国制造业社区造成了持久伤害,这些社区的调整远没有全球化乐观论调所预测的那样顺利。

在受冲击严重的劳动力市场,工资和劳动参与率长期低迷,失业率至少在十年内保持高位。最近,Autor和Hanson警告可能出现“中国冲击2.0”:即中国在先进产业中的竞争,可能威胁美国的技术领先地位及随之而来的高薪岗位。

一些知名经济学家,包括Apollo Global Management的Torsten Slok,认为“AI冲击”对美国劳动力的影响可能与“中国冲击”有相似之处。塔夫茨大学的Bhaskar Chakravorti甚至创造了“铁锈带”的对应词——“有线带”。

Autor在LinkedIn联合创始人Reid Hoffman主持的Possible播客上拒绝了这一比较。他表示,AI“在任何意义上都不会是中国贸易冲击的重演”,因为中国冲击对美国企业而言是“纯粹的负面竞争冲击”,而AI则会通过提升生产力带来“截然不同的质地”。

围绕AI的辩论部分建立在一个被中国冲击挑战过的假设之上:一旦技术接管常规工作,工人自然会向更高层级的技能进阶。Autor告诉《Fortune》,他对AI的担忧主要不是大规模失业。

“AI可能带来的危险,不在于它净减少了大量工作岗位,而在于它消除了一些专业领域的同时又创造了新的领域,”他说。“这听起来像一笔合理的交易,但失去旧职业的工人,通常并不是能够抓住新兴角色机会的人。”

专利法实验考察的是一个更窄的问题:使用强大新工具的工人,是否真的在积累职业进阶所需的专业能力。

草稿更好,学习不均

Autor和六位合著者将该研究作为国家经济研究局工作论文发表。该论文未经同行评审——工作论文在期刊评审前先发布以供讨论和评论。

该研究招募了美国11家与Google有持续专利起草合作关系的知识产权律师事务所的133名律师。研究人员随机律师使用一款定制的AI专利起草助手,即当时尚未发布的Google Labs工具。三分之二的律师获得了使用权,其余律师在研究期间不使用该工具。随机分配是该设计的核心:由于使用权由随机决定,两组之间的结果差异可以归因于工具本身,而非事先存在的能力差异。

Google的角色不止于提供软件。论文列明的Autor六位合著者均为Google员工。论文还说明,Google执行了该研究并支付其直接成本,而MIT的人类受试者委员会认定MIT未参与该研究。在给《Fortune》的电子邮件中,Google代表称该论文是Autor在其研究员任期内开展的独立研究。

律师们分别在实验第10天和第90天,根据模拟的发明人材料起草专利。根据论文,一家独立律师事务所的专利律师在不知道哪些律师使用过AI的情况下对作品进行评分,评估维度包括可执行性、准确性、策略性模糊、完整性和清晰度。

90天后,使用AI使起草评分提高了0.38个标准差。在随论文发布的Google博客文章中,Autor和合著者Tanya Rodchenko将该结果描述为相对于对照组11个百分点的提升。论文称,这一改善来自薄弱作品的减少,而非优秀作品的增加。

更艰难的测试在实验结束时进行。律师们需要批注一份假设专利,据博客文章描述,其中包含大量实质性和文体性错误。论文称这是专利律师“通常独立完成的任务”,且不允许使用AI。

论文发现,曾使用AI的资深律师比对照组同伴高出0.45个标准差,而初级律师没有表现出平均提升。

该研究也有若干注意事项。133名律师中只有91人完成了无AI测试。各律所拒绝了在实验开始时进行技能测试,因此研究人员只能从随机分配推断技能提升,而非通过前后测量。

作者还将91份批注中的15份标记为可能违反禁令使用了AI。此类标记在对照组律师中出现频率大致相当。论文称,剔除这15份批注后,资深律师的优势缩小至0.39个标准差,在较宽松的统计阈值下仍然成立,但总体效应则不再成立。

“胜任力错觉”

论文发现,初级律师的成绩分布出现分化:显著更多的差评、更少的中等评分、更多良好评分,但最高分段没有提升。作者写道,AI“对一些初级律师是跳板,对另一些则是缓冲垫”。

随附的博客文章描述了初级律师的工作方式。他们通常从头到尾逐段处理文档,在触及核心权利要求之前先打磨开头文字。有些人发现了严重问题,却只留下描述性评论而不加以修正。对照组的初级律师表现类似,作者将这种模式称为“基线性初级缺陷”,三个月的AI使用并未消除它。

不过,初级律师对工具体验持正面评价。Autor告诉《Fortune》,使用AI的初级律师报告任务满意度大幅上升,这是研究中最大的效应。他表示,他们觉得跳过“空白页问题”让自己直接进入审阅者角色。这种满意度与无辅助测试中平均提升的缺失并存——感受与实际独立表现之间存在落差。

“年轻从业者需要警惕胜任力错觉,”Autor说。“要真正知道自己是否在积累技能,唯一的办法就是在没有AI辅助的情况下完成任务,并评估自己的表现。”

资深律师为何获益

在博客文章描述的后续访谈中,资深律师将AI描述为“逻辑审计员”,而非成品。作者写道,该工具削弱了他们对既有文字的执着,并迫使他们清楚说明结构修改的原因和方式。

“可以说,只有当你对法律足够熟悉、能发现流畅的文字在法律上的缺陷时,你才能把AI当作‘逻辑审计员’来使用,”Autor告诉《Fortune》。他表示,将基础起草工作外包出去,让资深律师得以专注于策略层面——“见森林,不见树木”。

博客文章称,在无辅助测试中,使用过AI的资深律师会跳过低风险的文字,从零重建权利要求,删除可能限法律保护的措辞,并将许多修改与法律原理相联系。

Autor并没有说初级律师应该放弃AI。相反,他告诉《Fortune》,新手应该像资深律师那样工作:先独立构建论证,再把AI当作批评者来压力测试逻辑。他承认这要求很高。

“当现成的、省力的工具就在手边,主动要替我们代劳时,我们大多数人都没有自律去亲手完成,”他说。

不要切断学徒培养线

对雇主而言,产出的提升可能带来减少初级员工招聘的诱惑。Autor称这种做法短视。

“如果企业将塑造性的练习自动化,却不以某种有指导的学习环境取而代之,它们就切断了培养未来资深合伙人的学徒输送线,”他告诉《Fortune》。

他建议企业区分哪些任务可以永久性地在AI辅助下完成,哪些判断性任务需要无辅助的熟练掌握。企业还可以将AI部署与定期的无辅助技能检查相结合,例如线下红线批注练习,并让合伙人负责指导初级律师度过技术出错的情况。

Autor强调,这些是设想而非经过验证的解决方案。“这个研究和实践领域还处于早期阶段,”他说,并补充说很少有方法得到充分验证。

论文还列出了其他局限。样本规模较小,且来自为单一高端客户持续提供专利服务的律所;与积累专利专业知识所需的多年时间相比,三个月过于短暂。博客文章补充说,如果实验在今天进行,更新的AI模型和更广泛的AI熟悉度可能会改变结果。

该研究并未证明AI会阻止初级律师在职业生涯中成长为专家。

Autor将这一问题与他早年的中国冲击研究联系起来。他告诉《Fortune》,技术优势大多不是来自设备或图纸,而是来自通过缓慢而艰苦的磨练形成的人类专长。

“如果我们认为AI能让我们免除掌握专业技能的重担,我想我们会大失所望,”他说。“从长远来看,人类智能与机器智能将是互补的。”

本文最初发表于 Fortune.com。