NachrichtenMakroDavid Autor: KI gleicht die Leistung aus, vergrößert aber möglicherweise die Kompetenzlücken für Berufseinsteiger

David Autor: KI gleicht die Leistung aus, vergrößert aber möglicherweise die Kompetenzlücken für Berufseinsteiger

Autor: Fortune Crypto·

Wichtige Erkenntnisse

  • •Eine drei Monate dauernde randomisierte Studie mit 133 Patentanwälten in 11 US-Kanzleien für geistiges Eigentum ergab, dass KI-Zugang die Entwurfsbewertungen um 0,38 Standardabweichungen erhöhte – ein Gewinn von 11 Perzentilpunkten gegenüber der Kontrollgruppe.
  • •In einem Test ohne KI-Unterstützung übertrafen erfahrene Anwälte, die KI genutzt hatten, ihre Kollegen der Kontrollgruppe um 0,45 Standardabweichungen, während Nachwuchsanwälte keine durchschnittliche Verbesserung zeigten.
  • •Ökonom David Autor beschrieb KI als einen Gleichmacher der Leistung, aber einen Entgleiser der Fähigkeiten, da nur Praktiker mit bereits vorhandenen grundlegenden mentalen Modellen in der Lage waren, ihre zugrunde liegenden Kompetenzen zu stärken.
  • •Nachwuchsanwälte meldeten den größten Anstieg der Arbeitszufriedenheit in der Studie, trotz ausbleibender Gewinne ohne KI – eine Lücke, die laut Autor eine „Illusion der Kompetenz“ widerspiegelt.
  • •Autor warnte: Wenn Unternehmen prägende Praxis automatisieren, ohne sie durch geführtes Lernen zu ersetzen, riskieren sie, die Ausbildungspipeline zu durchtrennen, die künftige Senior-Experten hervorbringt.
David Autor: KI gleicht die Leistung aus, vergrößert aber möglicherweise die Kompetenzlücken für Berufseinsteiger

Der Gen Z wurde versprochen, dass künstliche Intelligenz der große Gleichmacher sein würde: ein Werkzeug, das es einem 24-Jährigen ermöglichen könnte, Arbeit auf dem Niveau eines Veteranen zu leisten. Neue Forschung des Ökonomen David Autor legt jedoch nahe, dass KI Unterschiede in der unmittelbaren Leistung eher verringert, während sie die Lücken bei den zugrunde liegenden Fähigkeiten vergrößert.

In einem drei Monate dauernden Experiment mit Patentanwälten verbesserte KI die Qualität der Entwürfe über alle Erfahrungsstufen hinweg. Als die Forscher das Werkzeug jedoch entfernten und das unabhängige Urteilsvermögen der Anwälte prüften, zeigten nur die erfahrenen Anwälte eine durchschnittliche Verbesserung. Die Nachwuchskräfte nicht.

„Unsere Ergebnisse stellen die Vorstellung in Frage, dass KI ein automatischer Gleichmacher von Fähigkeiten ist“, sagte Autor in schriftlichen Antworten an Fortune. „Unsere Daten deuten darauf hin, dass es ein Gleichmacher der Leistung ist, aber ein Entgleiser der Fähigkeiten, da nur die Praktiker, die bereits über grundlegende mentale Modelle verfügten, in der Lage waren, ihre zugrunde liegenden Kompetenzen auszubauen.“

Die Studie gruppierte die Anwälte nach Erfahrung und nicht nach Alter. Als „Senior“ galt, wer mindestens sieben Jahre Berufserfahrung hatte, und die Forscher untersuchten die Gen Z nicht als eigene Gruppe. Die Ergebnisse sind jedoch für Berufseinsteiger, die noch professionelle Expertise aufbauen, am unmittelbarsten relevant.

Vom China-Schock zur KI

Autor leitet das wirtschaftswissenschaftliche Fachbereich des MIT und ist Google Technology and Society Visiting Fellow. Er ist vor allem für den „China-Schock“ bekannt, ein Forschungskorpus, den er gemeinsam mit den Ökonomen David Dorn und Gordon Hanson entwickelte. Ihre Arbeit zeigte, dass die chinesische Importkonkurrenz den US-Produktionsregionen dauerhaften Schaden zufügte, die sich nicht so reibungslos anpassten, wie optimistische Darstellungen der Globalisierung vorhergesagt hatten.

In stark exponierten Arbeitsmärkten blieben Löhne und Erwerbsbeteiligung gedrückt, während die Arbeitslosigkeit mindestens ein Jahrzehnt lang erhöht blieb. Zuletzt haben Autor und Hanson vor einem „China-Schock 2.0 gewarnt: der chinesischen Konkurrenz in fortschrittlichen Industrien, die die technologische Führungsrolle Amerikas und die damit verbundenen gut bezahlten Arbeitsplätze bedrohen könnte.

Einige prominente Ökonomen, darunter Torsten Slok von Apollo Global Management, haben erklärt, dass ein „KI-Schock“ in seiner Wirkung auf den US-Arbeitsmarkt Ähnlichkeiten mit dem China-Schock haben könnte. Bhaskar Chakravorti von Tufts hat den Begriff „the wired belt“ geprägt, als Pendant zum Rust Belt.

Autor wies diesen Vergleich im Possible Podcast, moderiert vom LinkedIn-Mitgründer Reid Hoffman, zurück. Er sagte, KI werde „in keiner Hinsicht eine Wiederholung des China-Handelsschocks“ sein, weil der China-Schock von US-Unternehmen als „reiner negativer Wettbewerbsschock“ erlebt wurde, während KI eine „ganz andere Textur“ haben werde, indem sie die Produktivität steigere.

Die Debatte über KI beruht zum Teil auf einer Annahme, die der China-Schock infrage stellte: Sobald die Technologie die Routinarbeit übernimmt, entwickeln sich Beschäftigte ganz natürlich zu höherqualifizierten Fähigkeiten weiter. Autor sagte gegenüber Fortune, dass seine Sorge in Bezug auf KI nicht in erster Linie der Massenverlust von Arbeitsplätzen sei.

„Die Gefahr, der wir uns durch KI gegenübersehen könnten, ist nicht, dass sie netto große Zahlen von Arbeitsplätzen eliminiert, sondern dass sie einige Spezialisierungsgebiete abschafft, während sie gleichzeitig neue schafft“, sagte er. „Das klingt nach einem vernünftigen Deal, aber die Beschäftigten, die ihre alten Karrieren verlieren, sind im Allgemeinen nicht diejenigen, die von den neu entstehenden Rollen profitieren können.“

Das Patentrechts-Experiment untersuchte eine engere Frage: Ob Beschäftigte, die ein mächtiges neues Werkzeug nutzen, tatsächlich die Expertise aufbauen, die sie für ihren beruflichen Aufstieg benötigen.

Bessere Entwürfe, ungleichmäßiges Lernen

Autor und sechs Co-Autoren veröffentlichten die Studie als Working Paper des National Bureau of Economic Research. Das Papier wurde nicht peer-reviewed – Working Papers werden vor jeder Journal-Prüfung zur Diskussion und Kommentierung verbreitet.

Die Forschung umfasste 133 Anwälte in 11 US-Kanzleien für geistiges Eigentum, die laufende Patententwurfsbeziehungen mit Google unterhalten. Die Forscher wiesen den Anwälten nach dem Zufallsprinzip Zugang zu einem maßgeschneiderten KI-Patententwurfsassistenten zu, einem damals noch nicht veröffentlichten Google-Labs-Werkzeug. Zwei Drittel erhielten Zugang, während der Rest das Werkzeug während der Studie nicht nutzte. Diese Randomisierung ist zentral für das Design: Da der Zugang per Zufall entschieden wurde, lassen sich Unterschiede in den Ergebnissen zwischen den beiden Gruppen auf das Werkzeug zurückführen und nicht auf bereits bestehende Fähigkeitsunterschiede.

Googles Rolle ging über die Bereitstellung der Software hinaus. Das Papier nennt Autors sechs Co-Autoren als Google-Mitarbeiter. Es besagt außerdem, dass Google die Studie durchführte und die direkten Kosten trug, während das Ethikkomitee für Humanforschung des MIT feststellte, dass das MIT nicht an der Forschung beteiligt war. In einer E-Mail an Fortune beschrieben Google-Vertreter das Papier als unabhängige Forschung, die Autor im Rahmen seiner Fellowship durchführte.

Die Anwälte erstellten nach 10 Tagen und erneut nach 90 Tagen Patente Basis simulierter Erfindermaterialien. Laut dem Papier bewerteten Patentanwälte einer unabhängigen Kanzlei die Arbeit, ohne zu wissen, welche Anwälte KI genutzt hatten. Sie bewerteten Durchsetzbarkeit, Genauigkeit, strategische Mehrdeutigkeit, Vollständigkeit und Klarheit.

Nach 90 Tagen erhöhte der KI-Zugang die Entwurfsbewertungen um 0,38 Standardabweichungen. In einem Google-Blogbeitrag zum Papier beschrieben Autor und Co-Autorin Tanya Rodchenko dieses Ergebnis als einen Gewinn von 11 Perzentilpunkten gegenüber der Kontrollgruppe. Das Papier erklärte, die Verbesserung stamme aus einer Verringerung schwacher Arbeiten und nicht aus einem Anstieg exzellenter Arbeiten.

Der schwierigere Test kam am Ende des Experiments. Die Anwälte mussten ein hypothetisches Patent kommentieren, das laut dem Blogbeitrag zahlreiche inhaltliche und stilistische Fehler enthielt. Das Papier beschrieb die Übung als eine Aufgabe, die Patentanwälte „regelmäßig ohne Hilfe durchführen“. KI war nicht erlaubt.

Erfahrene Anwälte mit KI-Zugang übertrafen ihre Kollegen der Kontrollgruppe um 0,45 Standardabweichungen, so das Papier. Nachwuchsanwälte zeigten keinen durchschnittlichen Gewinn.

Die Studie enthielt mehrere Einschränkungen. Nur 91 der 133 Anwälte absolvierten den KI-freien Test. Die Kanzleien lehnten es ab, zu Beginn des Experiments einen Fähigkeitstest durchzuführen, daher leiteten die Forscher die Kompetenzgewinne aus der zufälligen Zuweisung ab, statt Fähigkeiten vor und nach dem Versuch zu messen.

Die Autoren kennzeichneten zudem 15 der 91 Bearbeitungen als möglicherweise KI-unterstützt trotz des Verbots. Solche Kennzeichnungen traten bei den Anwälten der Kontrollgruppe etwa ebenso häufig auf. Ohne diese 15 Bearbeitungen sank der Vorteil der erfahrenen Anwälte laut dem Papier auf 0,39 Standardabweichungen und blieb bei einem lockereren Schwellenwert statistisch signifikant. Der Gesamteffekt blieb nicht bestehen.

Die „Illusion der Kompetenz“

Die Leistung der Nachwuchsanwälte verteilte sich laut dem Papier über das gesamte Spektrum: Deutlich mehr schlechte Bewertungen, weniger mittelmäßige und mehr gute Bewertungen, aber keine Verbesserung bei den am höchsten bewerteten Nachwuchskräften. Die Autoren schrieben, dass KI „für einige Nachwuchskräfte ein Sprungbrett und für andere ein Polster“ war.

Der begleitende Blogbeitrag beschrieb, wie die Nachwuchsanwälte das System nutzten. Sie arbeiteten in der Regel vom Anfang eines Dokuments bis zum Ende und polierten einleitende Texte, bevor sie zu den Hauptansprüchen gelangten. Einige erkannten ernste Probleme, hinterließen aber Kommentare, die sie beschrieben, statt sie zu korrigieren. Nachwuchsanwälte in der Kontrollgruppe verhielten sich ähnlich – ein Muster, das die Autoren als „grundlegendes Nachwuchsdefizit“ bezeichneten, das drei Monate KI-Zugang nicht beseitigte.

Die Nachwuchsanwälte berichteten dennoch von einer positiven Erfahrung mit dem Werkzeug. Autor sagte gegenüber Fortune, dass KI-unterstützte Nachwuchsanwälte einen starken Anstieg der Arbeitszufriedenheit meldeten – der größte Effekt der Studie. Der Umgehung des „weißen-Blatt-Problems“ habe es ihnen ermöglicht, direkt in die Rolle eines Prüfers zu wechseln, sagte er. Diese Zufriedenheit stand neben dem Fehlen durchschnittlicher Gewinne im Test ohne KI – eine Lücke zwischen dem Gefühle der Arbeit und dem, was die unabhängige Leistung tatsächlich zeigte.

„Junge Berufstätige müssen sich vor der Illusion der Kompetenz hüten“, sagte Autor. „Ob Sie wirklich Fähigkeiten entwickeln, werden Sie nur wissen, wenn Sie Aufgaben ohne KI-Unterstützung durchführen und Ihre Leistung bewerten.“

Warum erfahrene Anwälte profitierten

In im Blogbeitrag beschriebenen Follow-up-Interviews bezeichneten erfahrene Anwälte die KI als „Logik-Prüfer“, nicht als fertiges Produkt. Die Autoren schrieben, dass Werkzeug ihre Bindung an bestehende Formulierungen schwächte und sie dazu zwang, das Warum und Wie ihrer strukturellen Änderungen zu erläutern.

„Man kann KI arguably nur als ‚Logik-Prüfer‘ nutzen, wenn man das Recht bereits gut genug kennt, um zu erkennen, wann flüssiger Text rechtlich mangelhaft ist“, sagte Autor gegenüber Fortune. Die Auslagerung des Basistentwurfs habe den erfahrenen Anwälten erlaubt, sich auf den strategischen Rahmen zu konzentrieren – „den Wald statt der Bäume“.

Während des Tests ohne Unterstützung übersprangen die behandelten erfahrenen Anwälte laut Blogbeitrag risikoarme Formulierungen, bauten Ansprüche von Grund auf neu, entfernten Formulierungen, die den Rechtsschutz einschränken könnten, und verknüpften viele ihrer Änderungen mit der Rechtsdoktrin.

Autor sagte nicht, dass Nachwuchsanwälte auf KI verzichten sollten. Stattdessen sagte er gegenüber Fortune, dass Berufseinsteiger eher wie erfahrene Anwälte arbeiten sollten: zunächst ein Argument ohne Unterstützung skizzieren und dann KI als Kritiker nutzen, um die Logik auf die Probe zu stellen. Er räumte ein, dass dieser Ansatz schwierig ist.

„Die meisten von uns haben nicht die Selbstdisziplin, Dinge von Hand zu erledigen, wenn ein jederzeit verfügbares, müheloses Werkzeug direkt daneben liegt und anbietet, es für uns zu tun“, sagte er.

Die Ausbildungspipeline schützen

Für Arbeitgeber könnte eine verbesserte Leistung den Anreiz schaffen, weniger Nachwuchskräfte einzustellen. Autor nannte diesen Ansatz kurzsichtig.

„Wenn Unternehmen prägende Praxis automatisieren, ohne sie durch eine Art geführte Lernumgebung zu ersetzen, durchtrennen sie die Ausbildungspipeline, die die Seniorpartner von morgen hervorbringt“, sagte er gegenüber Fortune.

Er schlug vor, dass Unternehmen unterscheiden, welche Aufgaben dauerhaft mit KI-Unterstützung erledigt werden können und welche urteilsbasierten Aufgaben eigenständige Beherrschung erfordern. Unternehmen könnten KI-Einführungen außerdem mit regelmäßigen Fähigkeitstests ohne Unterstützung verbinden, etwa Offline-Redlining-Übungen, und Partner für die Anleitung von Nachwuchskräften bei den Fehlern der Technologie verantwortlich machen.

Autor betonte, dass dies Vorschläge und keine bewährten Lösungen sind. „Es ist früh in diesem Forschungs- und Praxisfeld“, sagte er und fügte hinzu, dass nur wenige Ansätze robust validiert wurden.

Das Papier nennt weitere Einschränkungen. Die Stichprobe war klein und stammte von Kanzleien, die laufende Patentarbeit für einen einzigen anspruchsvollen Kunden leisten. Zudem sind drei Monate eine kurze Zeitspanne im Vergleich zu den Jahren, die zum Aufbau von Patentexpertise erforderlich sind. Der Blogbeitrag erklärte, neuere KI-Modelle und eine breitere Vertrautheit mit der Technologie könnten zu anderen Ergebnissen führen, wenn das Experiment heute durchgeführt würde.

Die Studie zeigt nicht, dass KI Nachwuchsanwälte daran hindert, im Laufe einer Karriere zu Experten zu werden.

Autor verband das Thema mit seiner früheren Arbeit zum China-Schock. Der technologische Vorteil beruhe, so sagte er gegenüber Fortune, weniger auf Ausrüstung oder Bauplänen als auf menschlichem Know-how, das durch langsame und mühsame Beherrschung entsteht.

„Wenn wir glauben, dass KI uns von der Last der Beherrschung von Expertise befreien wird, werden wir meiner Ansicht nach bitter enttäuscht werden“, sagte er. „Menschliche Intelligenz und maschinelle Intelligenz werden langfristigplemente sein.“

Die Geschichte erschien ursprünglich auf Fortune.com.