133명의 특허 변리사를 대상으로 한 3개월간의 현장 실험에 따르면, AI 지원은 즉각적인 성과를 향상시키며, 특히 주니어 변호사들에게 그렇다. 그러나 AI가 제거되자 고위 변호사들만 그 혜택을 유지했다.
AI 지원이 전문적 전문성을 키우는지 아니면 침식하는지는 연구에서 논쟁적인 문제다. 미국의 비영리 경제학 연구기관인 전국경제연구소(NBER)의 워킹 페이퍼는 미국 내 11개 지식재산권 로펌을 대상으로 한 3개월간의 무작위 대조 시험을 통해 이 문제를 다룬다.
해당 연구 는 변리사들이 먼저 AI 지원과 함께 작업한 후 결과를 AI 없이 평가하게 하는 방식으로 두 가지를 분리했다. 이 설계 덕분에 연구자들은 AI 보조 작업의 품질과 변리사 자신의 판단력이 이후 얼마나 유지되는지를 모두 측정할 수 있었다. 독립 로펌의 블라인드 처리된 특허 변리사들이 집행 가능성, 기술적 정확성, 전략적 모호성, 완전성, 명확성이라는 다섯 가지 범주에서 모든 결과를 채점했다.
Google이 후원한 이 연구에서 참가자의 3분의 2는 Google Labs의 미공개 AI 어시스턴트인 "InFlow"에 접근할 수 있었고, 나머지 3분의 1은 어떤 AI도 사용하지 않고 작업했다. 두 가지 특허 청구항 작성 과제에서는 처치 집단만 InFlow를 사용할 수 있었고, 대조 집단은 동일한 과제를 도움 없이 수행했다.
레드라이닝(redlining)이라 불리는 세 번째 과제에서는 모든 참가자가 AI 없이 기존 특허 초안을 비판적으로 검토해야 했다. 저자들의 설명에 따르면, 초안 작성은 즉각적인 AI 보조 성과를 측정하는 반면, 레드라이닝은 내면화된 판단력을 측정하며, 이는 특허 변리사들이 어떤 도구 없이도 일상적으로 수행하는 과제이다.
AI는 주로 주니어 변리사의 초안을 향상시킨다
초안 작성 과제에서 처치 집단은 10일 및 90일 시점 모두에서 대조 집단을 명확히 능가했으며, 그 효과는 다섯 가지 채점 차원 전반에서 나타났다. 점수 상승은 주로 나쁜 평가가 줄고 중간 수준 평가가 늘어난 데서 비롯되었으며, 최상위 점수는 거의 변하지 않았다.
이득은 고위 변호사보다 경력 7년 미만의 주니어에게서 훨씬 컸다. 연구자들에 따르면, 이는 AI가 경력이 적은 근로자와 많은 근로자 간의 성과 격차를 좁힌다는 점을 보여주는, 글쓰기, 고객 서비스, 소프트웨어 개발 분야에서 이미 관찰된 효과를 포함한 증가하는 연구들과 일치한다.
고위 변호사만 AI의 장점을 유지한다
레드라이닝에서는 정반대의 결과가 나왔다. 처치 집단이 전반적으로 더 높은 점수를 받았지만, 그 우위는 전적으로 고위 변호사들에게서 나왔고, 주니어들은 AI 보조 초안 작성 중 가장 큰 향상을 보였음에도 불구하고 전혀 이득을 보지 못했다.
대신 주니어의 결과는 갈라졌는데, 중간 수준 점수가 크게 줄고 나쁜 평가와 좋은 평가가 모두 늘었으며, 최상위권에서는 성장이 없었다. 저자들은 이를 AI가 일부 주니어의 실력 향상을 가속화한 반면 다른 주니어에게는 이를 대체했다는 신호로 해석하지만, 실험은 이러한 효과가 왜 갈라졌는지 설명하지 못한다.
AI로부터 가장 큰 이득을 얻은 변리사들이 지속적인 실력은 가장 적게 유지한 사람들이었고, 이에 연구자들은 AI 보조 실무를 지속 가능한 능력으로 전환하기 위해서는 기본적인 전문성이 전제 조건일 수 있다고 제안한다.
보충적인 텍스트 분석은 한 가지 가능한 설명을 제시한다. 고위 변리사들은 결함이 있는 초안을 더 자주 재구성하고 자신의 수정을 법적 원칙에 근거시킨 반면, 주니어들은 심각한 결함을 발견하면서도 수정하지 않고, AI 어시스턴트에 대한 지시문처럼 읽히는 메모를 남기는 경우가 잦았다. 이러한 행동은 대조 집단에서도 나타났기 때문에, 저자들은 이를 AI 훈련으로 인한 습관으로 돌리지 않고 오히려 AI 사용으로 해결되지 않은 주니어 수준의 기본적인 부족함으로 본다.
결과가 실무에서 의미하는 바
저자들은 최고 변리사들의 높은 시간당 청구 요금으로 인한 작은 표본 크기, 참여 로펌이 전문 서비스 전체를 대표하지 않는다는 점, 기초 실력 측정의 부재, 그리고 특허 전문성을 쌓는 데 걸리는 수년에 비해 3개월이라는 기간이 짧다는 점 등 여러 한계를 지적한다.
즉각적인 생산성 향상과 지속 가능한 기술 개발 간의 긴장은 전문 직무 여전히 AI 없이 판단을 필요로 하는 한 중요하다고 연구진은 주장하며, 그럴 가능성은 당분간 크다. AI가 언젠가 특허 출원 보정(redlining)을 지원하더라도, 위험이 크고 그 자리에서 판단을 내려야 하는 고객 미팅과 법정 절차 중에 변호사에게 실시간으로 제공되지는 않을 것이다.
유사한 패턴이 다른 분야에서도 나타난다. 소프트웨어 개발에서 한 Anthropic 연구는 AI의 도움을 받아 새로운 프로그래밍 라이브러리를 학습한 젊은 개발자들이 그렇지 않은 개발자들보다 후속 지식 테스트에서 17% 더 낮은 점수를 받았음을 발견했다. 에세이 작성에서는 MIT 미디어 랩이 외주화된 사고로 인한 인지 부채의 징후를 발견했다. 그리고 경영 컨설팅에서는 한 BCG 연구가 2023년에 이미 실력이 약한 컨설턴트들이 GPT-4를 사용했을 때 실력이 뛰어난 컨설턴트들보다 훨씬 더 크게 향상되었음을 보여주었다.
스탠퍼드 연구진은 여러 산업 전반의 초급 직무 감소를 AI가 학교와 대학의 교과서적 지식, 즉 초기 경력 종사자들이 갖추고 있는 주된 역량을 대부분 대체할 수 있는 반면, 경험 많은 전문가들은 AI가 쉽게 대체할 수 없는 실무 전문성도 갖추고 있다고 주장함으로써 설명한다.
특허 변호사 연구는 일부 연구자들이 "인지 공유지의 비극"이라 부르는 전문적 전문성의 침식에 관한 더 넓은 논쟁에 힘을 실어준다. 개별 회사는 자동화의 이익을 얻는 반면, 성장이 저해된 인재 육성의 비용은 전 직업군에 걸쳐 퍼지며, 이번 연구는 그러한 우려를 뒷받침하는 실제 현장의 실험적 증거를 더한다.
Anthropic은 최근 2025년 초 이후 자사 엔지니어링 부서의 초급 직위 비율이 21%에서 14%로 감소했다고 밝혔다.