Ein dreimonatiges Feldexperiment mit 133 Patentanwälten zeigt, dass KI-Unterstützung die unmittelbare Leistung verbessert, besonders bei Junior-Anwälten. Wird die KI jedoch abgeschaltet, behalten nur Senior-Anwälte die Vorteile.
Ob KI-Unterstützung berufliche Expertise aufbaut oder untergräbt, ist in der Forschung eine umstrittene Frage. Ein Working Paper des National Bureau of Economic Research (NBER), einer gemeinnützigen US-amerikanischen wirtschaftswissenschaftlichen Forschungsorganisation, geht ihr mit einer dreimonatigen randomisierten kontrollierten Studie in elf US-amerikanischen Kanzleien für geistiges Eigentum nach.
Die Studie trennte zwei Dinge, indem die Anwälte zunächst mit KI-Unterstützung arbeiteten und anschließend die Ergebnisse ohne sie bewerteten. Dieses Design ermöglichte es den Forschern, sowohl die Qualität der KI-unterstützten Arbeit zu messen als auch, wie gut das eigene Urteilsvermögen der Anwälte danach Bestand hatte. Verblindete Patentanwälte einer unabhängigen Kanzlei bewerteten alle Ergebnisse in fünf Kategorien: Durchsetzbarkeit, technische Genauigkeit, strategische Mehrdeutigkeit, Vollständigkeit und Klarheit.
Zwei Drittel der Teilnehmer der von Google finanzierten Studie erhielten Zugang zu „InFlow“, einem noch nicht veröffentlichten KI-Assistenten aus Google Labs, während das verbleibende Drittel ohne jegliche KI arbeitete. Bei zwei Aufgaben zum Verfassen von Patentansprüchen konnte nur die Behandlungsgruppe InFlow nutzen, und die Kontrollgruppe absolvierte dieselben Aufgaben ohne Hilfe.
Bei einer dritten Aufgabe namens Redlining mussten alle Teilnehmer einen bestehenden Patententwurf kritisch prüfen – ohne KI. Wie die Autoren erklären, misst das Verfassen die unmittelbare KI-unterstützte Leistung, während Redlining das internalisierte Urteilsvermögen misst – eine Aufgabe, die Patentanwälte routinemäßig ohne jegliche Werkzeuge erledigen.
KI verbessert Entwürfe vor allem bei Junior-Anwälten
Bei den Aufgaben zum Verfassen von Entwürfen schnitt die Behandlungsgruppe sowohl nach 10 Tagen als auch nach 90 Tagen deutlich besser ab als die Kontrollgruppe, mit Effekten über alle fünf Bewertungsdimensionen hinweg. Höhere Bewertungen ergaben sich vor allem durch weniger schlechte und mehr Bewertungen im Mittelfeld, während die Bestnoten kaum zunahmen.
Die Zuwächse fielen bei Juniors mit weniger als sieben Jahren Berufserfahrung deutlich größer aus als bei Seniors. Laut den Forschern steht dies im Einklang mit einer wachsenden Zahl von Studien, die zeigen, dass KI Leistungsunterschiede zwischen weniger und mehr erfahrenen Arbeitskräften verringert – ein Effekt, der bereits beim Schreiben, im Kundenservice und in der Softwareentwicklung beobachtet wurde.
Nur Seniors behalten KI-Vorteile
Beim Redlining zeigte sich das gegenteilige Ergebnis. Die Behandlungsgruppe schnitt insgesamt besser ab, doch der Vorteil stammte ausschließlich von Senior-Anwälten, und Juniors profitierten gar nicht – obwohl sie bei der KI-unterstützten Verfassung von Entwürfen die größten Zuwächse erzielt hatten.
Stattdessen gingen die Ergebnisse der Juniors auseinander: Deutlich weniger Bewertungen im Mittelfeld wurden durch mehr schlechte und mehr gute Bewertungen ersetzt, und an der Spitze gab es kein Wachstum. Die Autoren lesen dies als Zeichen, dass KI bei manchen Juniors den Kompetenzaufbau beschleunigte und bei anderen ersetzte, wobei das Experiment nicht erklärt, warum die Effekte auseinanderliefen.
Die Anwälte, die von der KI am meisten profitierten, waren genau diejenigen, die am wenigsten dauerhafte Fähigkeiten behalten, woraus die Forscher ableiten, dass grundlegende Expertise möglicherweise eine Voraussetzung dafür ist, aus KI-unterstützter Praxis dauerhafte Fähigkeiten zu machen.
Eine ergänzende Textanalyse bietet eine mögliche Erklärung. Senior-Anwälte strukturierten den fehlerhaften Entwurf häufiger um und stützten ihre Änderungen auf rechtliche Grundsätze, während Juniors häufig schwere Mängel entdeckten, ohne sie zu beheben, und Notizen hinterließen, die wie Anweisungen an einen KI-Assistenten klangen. Da dieses Verhalten auch in der Kontrollgruppe auftrat, führen die Autoren es nicht auf eine durch KI trainierte Gewohnheit zurück, sondern sehen darin ein grundlegendes Defizit auf der Junior-Ebene, das die KI-Nutzung nicht behob.
Was die Ergebnisse in der Praxis bedeuten
Die Autoren weisen auf mehrere Einschränkungen hin, darunter die kleine Stichprobengröße, bedingt durch die hohen Abrechnungssätze der Top-Anwälte, die Tatsache, dass die teilnehmenden Kanzleien nicht repräsentativ für professionelle Dienstleistungen insgesamt sind, das Fehlen einer Basismessung der Fähigkeiten sowie dass der Dreimonatszeitraum kurz ist im Vergleich zu den Jahren, die der Aufbau von Patentexpertise dauert.
Die Spannung zwischen unmittelbaren Produktivitätsgewinnen und nachhaltiger Kompetenzentwicklung bleibt wichtig, solange berufliche Arbeit weiterhin Urteilsvermögen ohne KI erfordert, so die Forscher – und das wird wahrscheinlich noch lange so bleiben. Selbst wenn KI eines Tages das Markieren von Vertragsänderungen unterstützt, wird sie Anwälten wahrscheinlich nicht in Echtzeit während Mandantengesprächen und Gerichtsverhandlungen zur Verfügung stehen, wo die Einsätze hoch sind und Urteilsentscheidungen on the spot getroffen werden.
Ähnliche Muster zeigen sich in anderen Bereichen. In der Softwareentwicklung fanden eine Anthropic-Studie dass jüngere Entwickler, die eine neue Programmbibliothek mit KI-Unterstützung lernten, in einem nachfolgenden Wissenstest 17 Prozent schlechter abschnitten als diejenigen, die ohne sie lernten. Beim Essay-Schreiben fand das MIT Media Lab Anzeichen für kognitive Verschuldung durch ausgelagertes Denken. Und im Management Consulting zeigte eine BCG-Studie bereits 2023, dass schwächere Berater sich mit GPT-4 weit mehr verbesserten als starke Performer.
Stanford-Forscher erklären den Rückgang von Einstiegsjobs in mehreren Branchen damit, dass KI vor allem das Schul- und Uniwissen ersetzen kann, das das Wichtigste ist, was Berufseinsteiger mitbringen, während erfahrene Fachleute zusätzlich praktische Expertise besitzen, die KI nicht so leicht ersetzen kann.
Die Studie zu Patentanwälten speist sich in eine breitere Debatte über die Erosion professioneller Expertise ein, was manche Forscher die "Tragödie der kognitiven Allmende" nennen. Einzelne Unternehmen profitieren von der Automatisierung, während sich die Kosten der gehemmten Talententwicklung über eine gesamte Profession verteilen, und diese Studie liefert weitere experimentelle Belege aus der Praxis, die diese Sorge stützen.
Anthropic teilte kürzlich mit , dass die Zahl der Juniorpositionen in seinen Entwicklungsabteilungen seit Anfang 2025 von 21 Prozent auf 14 Prozent gesunken ist.