133人の特許弁護士を対象とした3か月間のフィールド実験により、AI支援は即時のパフォーマンスを向上させ、特に若手弁護士でその効果が顕著であることが示された。しかしAIを取り上げると、恩恵を維持できたのはベテラン弁護士だけだった。
AI支援が専門的専門知識を育てるのか、それとも蝕むのかは、研究における論争のある問いである。米国の非営利経済学研究機関である全国経済研究所(National Bureau of Economic Research、NBER)のワーキングペーパーは、米国の11の知的財産法務事務所を対象とした3か月間のランダム化比較試験によってこの問いに取り組んだ。
本研究 では、弁護士にまずAI支援を使って作業させ、その後AIなしで成果を評価させることで、2つの側面を分離した。この設計により、研究者はAI支援下の作業の質と、弁護士自身の判断力がその後どの程度保たれるかの両方を測定できた。独立系事務所のブラインド化された特許弁護士が、実行可能性、技術的正確性、戦略的曖昧性、完全性、明確性の5つのカテゴリーにわたってすべての成果を採点した。
Googleが資金提供したこの研究の参加者の3分の2は、Google Labsの未発表AIアシスタント「InFlow」へのアクセスを得て、残りの3分の1はAIなしで作業した。2つの特許クレーム作成課題では、処置群だけがInFlowを使用でき、対照群は同じ課題を支援なしで完了した。
「レッドライニング」と呼ばれる3つ目の課題では、すべての参加者がAIなしで既存の特許草案を批判的にレビューしなければならなかった。著者らによれば、ドラフト作成はAI支援下の即時パフォーマンスを測るものであり、一方レッドライニングは内面化された判断力を測るものであり、特許弁護士がツールなしで日常的に行う業務であるという。
AIはドラフトの質を主に若手弁護士で向上させる
ドラフト作成課題では、処置群は10日後と90日後の両時点で対照群を明確に上回り、その効果は5つの採点次元のすべてに現れた。高スコアの増加は主に低評価の減少と中程度の評価の増加によるものであり、最高スコアはほとんど動かなかった。
その向上は、経験7年未満の若手ではベテランよりもはるかに大きかった。研究者らによれば、これはAIが経験の少ない労働者と経験豊富な労働者の間のパフォーマンス格差を縮めることを示す増え続ける研究群と一致しており、この効果はすでにライティング、カスタマーサービス、ソフトウェア開発で観察されているという。
AIの優位性を保つのはベテランだけ
レッドライニングでは逆の結果が出た。処置群は全体として高いスコアを得たが、その優位性は完全にベテラン弁護士によるものであり、AI支援下のドラフト作成で最大の向上を見せたにもかかわらず、若手はまったく恩恵を受けなかった。
むしろ若手の結果は二極化し、中程度のスコアが大幅に減って悪い評価と良い評価がそれぞれ増え、最高水準での伸びはなかった。著者らはこれを、AIが一部の若手のスキル形成を加速させた一方で他の若手ではスキル形成を代替したことの兆候と解釈しているが、実験ではその効果が分岐した理由は説明されていない。
AIから最も大きな恩恵を受けた弁護士は、持続的なスキルを最も維持できなかった弁護士でもあり、これを受けて研究者らは、AI支援による実践を永続的な能力に変えるには、基礎的な専門知識が前提条件である可能性を示唆している。
補足的なテキスト分析が一つの説明を提示している。ベテラン弁護士は欠陥のある草案をより多く再構成し、その変更を法原理に根拠づけていたのに対し、若手は重大な欠陥を発見しながら修正せず、AIアシスタントへの指示のようなメモを残すことが多かった。この行動は対照群にも現れたため、著者らはそれをAI訓練による習慣のせいとせず、AIの使用では解消されなかった若手レベルの基礎的な欠如と見なしている。
この結果が実務上意味するもの
著者らはいくつかの限界を指摘している。具体的には、トップ弁護士の高額な時間単価により生じた小さなサンプルサイズ、参加事務所が専門サービス業界全体の代表ではないこと、ベースラインのスキル測定がなかったこと、そして特許の専門知識の習得に必要な年月と比べて3か月間という期間が短いことである。
即時の生産性向上と持続的なスキル開発の間の緊張関係は、専門職の仕事が依然としてAIなしの判断を必要とする限り重要だと研究者らは主張しており、それは今後長い間続く可能性が高いという。仮にAIが最終的にレッドライン（修正案作成）を支援するようになっても、クライアントとの面談や法廷手続きのような、利害が大きくその場で判断を下す必要がある場面では、弁護士がリアルタイムでAIを利用できることはおそらくないだろう。
同様のパターンは他の分野にも現れています。ソフトウェア開発では、 Anthropicの研究 AIの支援を受けて新しいプログラミングライブラリを学んだ若手開発者は、AIなしで学んだ開発者に比べ、後日の知識テストで17パーセント低い成績しか出せないことが明らかになった。エッセイ執筆については、MITメディアラボが次のような兆候を発見した。 認知的負債 アウトソーシングされた思考から。そして経営コンサルティングにおいては、 BCGの調査 2023年に、弱いコンサルタントは強いパフォーマーよりもGPT-4を使った方がはるかに大きく向上することを示しました。
スタンフォード大学の研究者たちが説明する エントリーレベルの仕事の減少 複数の業界にわたって、AIは学校や大学の教科書的な知識の大部分を置き換えられると論じることで主張を展開している。教科書的な知識こそがキャリア初期の労働者がもたらす主なものである一方、経験豊富な専門家はAIが容易に代替できない実践的な専門知識も併せ持っているというのだ。
弁理士に関するこの研究は、専門的専門知識の侵食、すなわち一部の研究者が「認知的コモンズの悲劇「個々の企業は自動化の恩恵を受ける一方で、人材育成の阻害によるコストは職業全体に広がります。本研究は、この懸念を裏付ける実世界の実践からの実験的証拠をさらに追加するものです。」
Anthropicは最近、次のように述べた 同社のエンジニアリング部門におけるジュニア職位の割合が、2025年初頭以来、21パーセントから14パーセントに低下したこと。