📄 논문
새로운 논문을 접하는 것은 연구 아이디어의 방향을 바꿀 수 있습니다. 연구자는 자신이 제안한 기여를 누군가 이미 다루었음을 발견하거나, 그 논문에서 새로운 연구 방향을 떠올리게 하는 미해결 문제를 찾을 수 있습니다.
우리는 이 과정을 다음과 같이 부릅니다 문헌에서 시작된 전환: 기존 연구를 읽음으로써 촉발된 연구 방향의 전환입니다. 이는 연구자들이 흔히 별도로 관리해야 하는 두 가지 활동, 즉 아이디어를 개발하는 것과 그것을 어떤 문헌과 비교 측정할지 결정하는 것을 연결합니다.
펜실베이니아 대학교의 공동 연구자들과 함께 우리는 개발했습니다 LitPivot, 연구자들이 이러한 전환을 탐색하는 데 도움을 주는 시스템입니다. 다음을 통해 검색된 논문을 활용하여 Asta Paper FinderLitPivot는 편집 중인 연구 제안서의 해당 부분을 중심으로 문헌을 정리하고, 선정된 연구의 발췌문으로 뒷받침되는 비평을 제공하며, 연구자가 수락, 편집 또는 거부할 수 있는 수정안을 제안합니다. LitPivot은 연구 아이디어 구상의 초기 단계에서 사용하기 위한 것이지만, 이 아이디어는 더 긴 글쓰기 작업(즉, 논문의 서론 섹션 작성)으로 확장될 가능성도 있습니다.
17명의 연구자가 참여한 연구에서 도메인 전문가들은 LitPivot으로 개발한 연구 아이디어가 텍스트 편집기와 AI 채팅 도구로 개발한 아이디어보다 문헌에 더 잘 근거했다고 평가했습니다. 참가자들은 또한 자신이 수정한 연구 아이디어가 더 참신하고 유용하다고 느꼈으며, 관련 문헌에 대한 이해가 더 깊어졌다고 보고했습니다.
LitPivot은 2026년 디트로이트에서 열리는 UIST에서 발표됩니다. 논문 읽기 여기.
왜 피벗(pivoting)은 어려운가
연구 아이디어는 문헌과의 상호작용을 통해 발전합니다. 완료된 4개의 컴퓨터 과학 연구 프로젝트의 회의록을 분석한 결과, 네 프로젝트 모두에서 문헌에서 촉발된 21개의 피벗을 확인했습니다. 이들은 두 가지 유형으로 나뉘었습니다. 기존 연구와 아이디어를 차별화하여 그 아이디어의 신규성을 확립하는 것과, 기존 연구와 아이디어를 일치시켜 그 위에 구축해 나가는 것입니다. 이 프로젝트 자체도 기여 내용을 확정하기 전에 두 번의 피벗을 거쳤습니다.
이러한 변화들을 헤쳐나가는 것은 어려울 수 있습니다. 한 형성적 연구에서 다섯 명의 연구자가 텍스트 편집기와 표준 검색 도구를 사용해 제안을 개발했습니다. 그들은 자신의 아이디어를 문헌과 비교해 비판적으로 평가하면서 아이디어를 발전시키는 데 어려움을 겪었습니다. 논문이 아이디어의 참신성에 이의를 제기할 때, 그들은 선행 연구에 뒷받침된, 이를 수정하는 방법에 대한 구체적인 제안을 원했습니다. 이러한 연구 결과는 LitPivot의 평가 설계에 반영되었으며, LitPivot은 문헌에 근거한 비평과 아이디어에서 선택한 부분을 수정하기 위한 구체적인 제안을 짝지어 제공합니다.
LitPivot의 작동 방식
LitPivot에서 연구자는 에디터에 짧은 연구 계획서를 작성하고 우리가 부르는 것을 활성화하는 것으로 시작합니다. 패싯 강조 표시, 이는 하나의 아이디어를 여러 측면(즉, 문제, 기여, 평가)으로 분할합니다. 제안된 측면을 확인하기 위해 연구자는 초안에서 해당 세그먼트를 클릭합니다. 인접한 패널은 선택된 측면을 기준으로 관련 논문들을 그룹화하고(예: 평가 측면이 선택되면 논문들이 사용하는 평가 방법별로 논문을 그룹화) 가장 관련성 높은 그룹을 강조 표시합니다. 연구자는 논문을 선택하고, 평가를 요청하며, 비평을 뒷받침하는 발췌문과 함께 제안된 수정안을 검토합니다. 이후 문헌은 수정된 측면과의 관련성을 기준으로 재정렬됩니다.
특히 LitPivot은 연구 아이디어를 다음과 같이 분리합니다: 문제, 제안된 기여안, 그리고 평가 계획. 각 측면은 자체적인 관련 문헌 집합과 관련성 순위를 가지고 있습니다. LitPivot은 검색된 논문들을 편집 중인 측면을 중심으로 그룹화하여, 연구자가 시스템이 초안을 평가하는 데 사용할 논문들을 직접 선택할 수 있게 합니다.
Prism과 같은 과학 저작 환경, Claude Code와 같은 에이전틱 어시스턴트와 함께, LitPivot은 초기 연구 아이디어를 발전시키기 위한 새로운 워크플로우를 탐구합니다. 즉, 아이디어를 평가할 문헌을 선정하고, 그 증거를 활용해 아이디어를 수정하며, 아이디어가 변화함에 따라 어떤 논문이 중요한지를 다시 고려하는 것입니다. 논문 그룹과 연결된 비평은 제안서의 각 부분에 대해 이러한 단계를 명확하게 보여주며, 연구자는 초안과 이를 평가하는 데 사용된 증거 모두를 직접 통제합니다.
문제 진술의 경우, LitPivot은 해당 문제가 존재한다는 증거와 그것이 왜 중요한지에 대한 근거를 찾습니다. 제안된 기여를 평가할 때는, 선정된 논문들이 이미 다룬 내용을 그 논문들이 서술한 한계점과 향후 연구 과제와 비교하여 남아 있는 공백을 찾습니다. 평가 계획의 경우, 제안된 실험이 연구 질문을 다루는지, 그리고 유사한 연구가 어떻게 평가되었는지를 확인합니다. 그런 다음 시스템은 근거 인용문을 첨부하여 수정안을 제안합니다.
아이디어의 한 측면을 변경하면 다른 부분이 시대에 뒤떨어질 수 있습니다. LitPivot은 수정이 필요할 수 있는 부분을 표시해 줍니다. 예를 들어, 수정된 기여 내용을 더 이상 적절하게 평가하지 못하는 평가 계획 등이 그렇습니다. 연구자는 제안을 진행하면서 제안을 수락, 편집 또는 거부할 수 있으며, 새로운 논문을 요청하거나 문헌 순위를 새로 고칠 수도 있습니다.
한 연구 참가자의 발화를 바꾸어 쓴 예시.
우리의 연구 결과
우리 실험실 연구에서 17명의 연구자가 LitPivot으로 하나의 배정된 아이디어를 개발하고, 기준 도구(선택한 논문에 대해 질문할 수 있는 텍스트 편집기 및 AI 도구)로 다른 아이디어를 개발했습니다. 두 조건 모두 동일한 논문 컬렉션을 사용했습니다. 어떤 시스템이 사용되었는지 알지 못하는 두 명의 도메인 전문가가 결과로 나온 제안서를 단일 기준, 즉 관련 문헌을 얼마나 잘 활용하여 아이디어를 뒷받침하고 정당화했는지에 따라 평가했습니다. LitPivot으로 개발된 제안서가 더 높은 평가를 받았습니다.
동일한 연구의 참가자들은 기준 조건에 비해 LitPivot 사용 시 주변 문헌에 대한 이해가 더 강해졌다고 보고했으며, 자신의 아이디어의 참신성과 유용성이 더 크게 향상되었다고 스스로 평가했습니다. 도메인 전문가들 또한 참가자들의 아이디어를 검토한 결과, LitPivot을 사용하여 수정된 아이디어가 관련 문헌에 훨씬 더 잘 기반하고 있다고 평가했습니다.
우리 실험실 연구의 한 참가자는 일관성 있고 사실적인 합성 의료 기록을 생성하려는 제안으로 시작했습니다. LitPivot은 선택된 문헌에서 여러 병원 방문 간의 일관성을 잠재적 공백으로 식별했습니다. 참가자는 초록을 검토하고 단일 방문 기록에 관한 논문을 제거했습니다. 또 다른 평가 후에 그들은 제안을 여러 방문의 기록들 간의 모순 감지로 좁혔습니다. 이 사례는 아이디어를 수정하는 것과 이를 평가하는 데 사용할 문헌을 선택하는 것이 서로에게 정보를 줄 수 있음을 보여줍니다.
후속 연구에서 다섯 명의 연구자가 30분 세션 동안 자신의 진행 중인 프로젝트에 LitPivot을 사용했습니다. 참가자들은 시작 단계뿐만 아니라 여러 프로젝트 단계에서 LitPivot을 사용했습니다. 두 사람은 새로운 아이디어를 문헌과 대조하여 검증하는 데 사용했고, 세 사람은 더 성숙한 아이디어의 프레임을 다듬는 데 사용했습니다. 한 연구자는 서로 다른 도메인의 유사 개념을 보는 것이 자신의 기여를 재구성하는 데 도움이 되었다고 강조했습니다.
이러한 연구들은 LitPivot이 초기 탐색과 기존 연구 방향의 다듬기 모두를 지원할 수 있음을 시사합니다.
과학적 발견 지원
Ai2에서는 연구자들이 검증 가능한 아이디어를 구성하고 그 뒤에 있는 증거를 검토하도록 돕는 AI를 개발하고 있습니다. Asta 는 이러한 노력을 출판된 연구 결과로부터의 이론 생성(Theorizer), 종합, 그리고 데이터에 대한 가설 생성 및 검증(AutoDiscovery)을 통해 지원하며, HARPA 는 새로운 연구 트렌드에 기반한 유망한 가설을 생성합니다. Scideator 는 연구자들이 선행 연구의 요소들을 재조합하여 새로운 아이디어를 만들고 그 참신성을 평가할 수 있게 하며, IdeaSynth 는 문헌에 근거한 피드백과 함께 반복적인 다듬기를 지원합니다.
우리의 최근 연구인 Old Ideas, Novel Problems은 자동화된 참신성 평가의 한계를 살펴보며, 작은 프롬프트 변경이 동일한 아이디어에 대한 AI 심사자의 판정을 어떻게 바꿀 수 있는지 보여줍니다. LitPivot은 관련 문헌의 선택을 수정 과정의 일부로 만듦으로써 이 연구 계보를 확장합니다. 연구자들은 아이디어가 발전함에 따라 제안서를 평가하는 데 사용할 논문을 변경한 다음, 비평과 근거 발췌문을 활용하여 수정 방향을 결정할 수 있습니다. 이 시스템은 그러한 결정들을 제안서의 문제, 기여, 평가 계획 전반에 걸쳐 연결합니다.
LitPivot에서 얻은 통찰이 과학자들이 기존 지식을 바탕으로 구축하고 초기 아이디어를 자신의 분야에 대한 새로운 기여로 전환하는 데 도움이 되기를 바랍니다.