오늘 우리는 Old Ideas, Novel Problems이라는 새로운 연구를 공개합니다. 이 연구는 대규모 언어 모델이 과학 연구 아이디어의 참신성을 얼마나 신뢰할 수 있게 평가할 수 있는지를 다룹니다. 논문과 함께, 참신성 판단자(novelty judge)를 테스트하기 위한 벤치마크, 데이터, 코드를 공개하며, 연구자들이 새로운 평가 세트를 구축하는 데 사용할 수 있는 자동화 파이프라인도 제공합니다.
Ai2에서는 과학적 발견의 여러 부분을 지원하는 AI 시스템을 개발해 왔습니다. DataVoyager 는 연구자들이 구조화된 데이터를 탐색하고 분석하도록 돕고, AutoDiscovery 는 가설을 생성하고 검증하며, Theorizer 는 방대한 문헌 전반에 걸친 증거를 종합하여 후보 과학 이론을 만들어냅니다. Asta와 함께, 이러한 프로젝트들은 연구자들이 선행 연구를 이해하는 것에서 새로운 아이디어를 제안하고, 검증하고, 개선하는 것으로 나아가도록 돕는 시스템을 향한 길을 보여줍니다.
그러나 연구 아이디어를 생성하는 것은 과학적 발견 자동화라는 과제의 일부일 뿐입니다. 그 아이디어들은 또한 진정으로 새로운 무언가에 기여해야 하며, 이는 이러한 시스템들이 참신한 방향과 기존 연구를 주로 재포장한 방향을 구분할 방법을 갖추어야 한다는 뜻입니다.
이러한 판단은 종종 다른 LLM에 맡겨집니다. 우리가 이르는 참신성 판단자(novelty judge)입니다. 참신성 판단자는 연구 아이디어가 선행 연구에 비해 새로운 것인지를, 단독으로 또는 다른 아이디어와의 비교를 통해 평가합니다. 이를 구축하는 표준 방법은 없습니다. 연구 팀들은 모델, 프롬프트, 평가 형식, 추론 예산, 그리고 경우에 따라 문헌 검색 시스템을 선택합니다. 이러한 선택들은 판정 결과에 실질적인 영향을 미칠 수 있습니다. 그러나 이러한 판단자들은 실제로 평가하도록 의도된 AI 생성 아이디어가 아니라 인간이 작성한 논문으로만 검증되는 경우가 많습니다.
우리의 새로운 벤치마크 결과는 참신성 평가 자체가 신뢰성이 크게 떨어진다는 것을 보여줍니다. 여섯 개의 LLM 판단자 – GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5, Claude Opus 4.6 – 에 걸쳐, 평가 설정의 사소해 보이는 변경이 동일한 아이디어에 대해 극적으로 다른 판단을 낳았습니다. 한 실험에서는 프롬프트의 몇 단어만 바꾸는 것만으로도 두 아이디어 중 어느 쪽이 더 참신한지 식별하는 모델의 정확도가 50 퍼센트포인트 이상 변동했습니다. 검색과 추가 추론은 판단을 일관되게 개선하지 못했으며, 목적에 맞게 만들어진 두 개의 참신성 평가 시스템은 단순한 프롬프트 기반 Claude Opus 4.6 베이스라인보다 성능이 낮았습니다.
AI가 과학적 발견에서 더 큰 역할을 하게 되려면, AI가 실제로 새로운 것을 제안하고 있는지 판단할 수 있는 더 신뢰할 수 있는 방법이 필요합니다. 우리의 연구는 이 문제를 연구하기 위한 도구를 제공하는 동시에, 아직 해결되지 않은 부분이 얼마나 많은지를 보여줍니다.
참신성 판단자를 위한 벤치마크 구축
참신성 판단자가 더 참신한 연구 아이디어와 덜 참신한 아이디어를 얼마나 신뢰할 수 있게 구분하는지 테스트하기 위해, 우리는 먼저 기저에 있는 과학적 기여의 독창성에 대한 강한 증거가 있는 사례들이 필요했습니다.
그래서 우리는 ICLR 2026 동료 심사를 중심으로 자동화 파이프라인을 구축했습니다. 논문의 채택을 참신성의 대리 지표로 삼는 대신, 심사자들이 기여의 독창성을 명시적으로 언급한 구절을 심사 의견 자체에서 추출했습니다. 이 구분이 핵심입니다. 논문은 다른 측면에서 충분히 강하다면 특별히 참신하지 않더라도 채택될 수 있습니다. 마찬가지로, 독창적인 기여가 있는 탈락 논문도 다른 약점을 가질 수 있습니다.
우리는 심사자들이 참신성을 긍정적으로 확인했고 그것에 이의를 제기한 심사자가 없으며 해당 ICLR 연구 분야에서 상위 10%에 드는 채택 논문들을 선별하여, 인간이 작성한 154개의 연구 아이디어로 이루어진 고참신성 풀 사람이 작성한 154개의 연구 아이디어 중에서, 해당 ICLR 연구 분야에서 상위 10%로 평가된 채택 논문들을 선정하여 구성했으며, 이 논문들은 심사위원들이 긍정적으로 참신성을 확인했고 어떤 심사위원도 이의를 제기하지 않은 것들이었습니다. 우리는 반대 기준을 적용하여 다음을 구성했습니다 저참신성 풀을 구축했습니다: 하위 10%에 드는 탈락 논문들에서 나온 145개의 아이디어로, 이 논문들의 심사자들은 독창성 우려를 제기했으며 참신성을 긍정적으로 확인한 심사자는 없었습니다. 심사 마이닝 과정에 대한 별도의 검증에서, 한 명의 주석자가 50건 중 47건에서 추출된 참신성 신호의 극성에 동의했으며, 어느 불일치도 심사자가 해당 논문의 참신성을 칭찬한 것으로 계수될지 이의를 제기한 것으로 계수될지를 바꾸는 결과를 낳지 않았습니다.
이 두 풀을 합쳐 우리의 첫 번째 평가 설정이 만들어집니다, Human-Only이 설정은 강한 근거에 기반해 더 높거나 낮은 신규성을 지닌 인간이 작성한 아이디어를 신규성 평가자들이 구분해낼 수 있는지 검증합니다. 하지만 실제로는 신규성 평가자들이 AI가 생성한 아이디어를 평가하는 데 점점 더 많이 사용되고 있습니다. 그래서 우리는 두 번째 설정을 만들었습니다, Human+Generated.
이 풀(pool)에서는 검증된 동일한 154개의 인간 아이디어를 간단한 LLM 생성기가 만든 154개의 아이디어와 짝지었습니다. 우리는 생성된 아이디어가 인간이 작성한 대응 아이디어보다 덜 신규적이라고 가정했습니다. 이는 약한 라벨(weak labels)이며, 모든 아이디어에 대해 검증된 판단이 아닙니다. 생성기에는 연구 분야와 신규적인 아이디어를 제안하라는 지시만 주어졌고, 문헌 검색, 도구, 반복, 피드백은 전혀 없었습니다. 이를 통해 기본 생성기의 아이디어와, 심사자들이 창의성을 명시적으로 인정한 상위 10% ICLR 논문의 기여를 보수적으로 비교할 수 있었습니다.
추가 검증으로, 한 전문가가 30 Human+Generated 쌍을 독립적으로 검토했으며, 이는 가장 강력한 판정 모델이 틀린 사례에 큰 비중을 두었습니다. 또한 우리는 인간이 생성한 아이디어와 AI가 생성한 아이디어를 공통 구조로 재작성하여, 판정 모델들이 단순히 글쓰기 스타일의 차이에 반응하는 것은 아닌지 테스트했습니다. 전문가는 30개 쌍 모두에서 인간의 아이디어를 선호했고, 생성된 아이디어 중 어느 것도 참신하다고 판정하지 않았습니다.
중요한 점은, 우리 핵심 결과들 상당수가 레이블에 전혀 의존하지 않는다는 것입니다. 동일한 아이디어 쌍에 대해 두 가지 합리적인 평가 설정이 정반대의 답을 내놓는다면, 그 불일치 자체가 불안정성을 드러냅니다.
작은 변화가 매우 다른 판정을 만들어낼 수 있다
인간이 작성한 아이디어와 AI가 생성한 연구 아이디어 모음을 사용하여, 6개의 LLM 판정 모델 – GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5, 그리고 Claude Opus 4.6 – 이 포인트와이즈(즉, 절대적 참신성 평점) 및 페어와이즈(즉, 두 아이디어를 비교해 더 참신한 것을 찾음) 비교를 통해 참신성을 얼마나 잘 평가할 수 있는지 테스트했습니다. 우리는 한 번에 한 요소씩 변경했습니다: 프롬프트, 추론 예산, 판정 모델이 관련 논문을 볼 수 있는지 여부, 아이디어의 형식, 최종 판정에 결합되는 평가의 수, 그리고 – AI가 생성한 아이디어의 경우 – 어떤 모델이 이를 생성했는지입니다.
성능의 가장 큰 변화는 모델에게 참신성을 판정하도록 프롬프트를 어떻게 작성했는지에서 비롯되었습니다.
예를 들어, 우리는 GPT-5.4에게 동일한 Human+Generated 쌍 – 각각 검증된 인간 작성 아이디어 하나와 AI 생성 아이디어 하나를 포함 – 을 두 가지 프롬프트로 보여주었습니다. 한 프롬프트는 각 쌍에서 정확히 하나의 아이디어만 참신하다고 검토자들이 발견했다고 알리고 어느 것인지 식별하도록 요청했으며, 다른 프롬프트는 단순히 어느 아이디어가 참신한지 물었습니다. 더 단순한 프롬프트로 전환하자 정확도가 93.5%에서 40.9%로 – 우연 수준 이하로 – 떨어졌고, 모델은 동일한 쌍의 절반 이상에서 판정을 바꿨습니다.
반면, 동일한 프롬프트 변경은 Human-Only 데이터셋에서는 정확도를 약 7퍼센트포인트만큼만 움직였는데, 이 데이터셋은 인간 작성 아이디어를 참신성에 대한 강하거나 약한 증거와 짝지어 놓은 것입니다. 이는 참신성 판정 모델이 인간 작성 연구에서는 비교적 안정적으로 보일 수 있지만, AI 생성 아이디어에서는 매우 다르게 행동할 수 있음을 시사합니다.
그렇다고 인간 작성 아이디어가 면역이었던 것은 아닙니다. Human-Only 데이터셋에서도 상당한 변동을 보았습니다. 동일한 변경이 Claude Opus 4.6의 정확도를 21포인트나 움직였습니다. 다만 변동의 폭이 AI 생성 아이디어에서보다 덜 심각했을 뿐입니다.
또한 보편적으로 더 나은 프롬프트도 없었습니다. 예를 들어, 아이디어를 개별적으로 판정할 때, 사소하거나 점진적인 기여를 참신하다고 취급하지 말라고 판정 모델에 경고하는 지침을 제거하는 것이 일부 판정 모델의 정확도는 높였지만 다른 모델에서는 낮췄습니다. 즉, 한 모델에 잘 작동하는 프롬프트가 다른 모델에는 전이되지 않을 수 있습니다.
우리는 참신성 판정 모델의 일반적인 용도인 두 AI 생성기의 아이디어 비교도 테스트했습니다. Claude Opus 4.5의 아이디어를 Claude Sonnet 4.5와, GPT-5.4의 아이디어를 GPT-5.1과 짝지었습니다. 테스트된 프롬프트 변경에 걸쳐 6개 판정 모델에서 평균 약 4분의 1에서 3분의 1의 판정이 바뀌었습니다. 이러한 불일치는 어느 생성기가 더 참신한 아이디어를 만드는지 가정하지 않고도 측정할 수 있으며, 판정 모델 프롬프트의 선택이 아이디어화 시스템 간 비교에 영향을 줄 수 있음을 보여줍니다.
더 많은 검색과 추론이 반드시 더 나은 참신성 판정을 만들어내지는 않았습니다. 우리는 GPT-5.6 Sol에게 아주 높은 추론 예산과 arXiv로 제한된 실시간 반복 검색을 제공한 뒤, 각각 사전 검색된 초록 5개를 본 표준 검색 판정 모델들과 비교했습니다. (이 비교의 모든 판정 모델은 Human+Generated에서 아이디어당 1회씩 실행되었습니다.) 에이전트형 판정 모델은 0.78의 macro-F1을 기록해 – 0.89를 기록한 Claude Opus 4.6보다 11포인트 뒤졌으며, 더 단순한 Claude Opus 4.5 및 GPT-5.4 설정과 거의 비슷한 범위에 있었습니다 – 현재 API 가격 기준으로 결정당 약 10배 더 많은 비용이 들었습니다. (여기서 macro-F1은 판정 모델이 참신하고 참신하지 않은 아이디어를 얼마나 잘 식별하는지를 측정하며, 높을수록 좋습니다.)
목적에 맞게 특화된 평가기 역시 비용이 훨씬 더 많이 들었음에도 더 정확하지 않았습니다. Human+Generated 세트에서, 낮은 추론과 3회 호출에 걸친 다수결 투표를 사용하는 단순한 Claude Opus 4.6 프롬프트가 총 평가 비용 $2.59로 0.854의 macro-F1을 달성했습니다. 비교하자면, 문헌 기반 검색 및 재순위 파이프라인인 Idea Novelty Checker는 $30.66로 0.642를 기록했고, 참신성 평가기가 Semantic Scholar를 반복적으로 검색하는 Sakana AI의 AI Scientist는 $82.05로 0.772를 기록했습니다. (두 전용 평가기 모두 Claude Opus 4.6을 사용했으며, 결정당 1회 호출했습니다.)
다시 말해, 단순한 프롬프트 기반 베이스라인이 두 목적 특화 시스템 중 어느 것보다도 더 정확하고 훨씬 저렴했습니다.
종합하면, 이러한 결과들은 참신성 평가가 이러한 시스템들이 점점 더 판정을 요청받는 AI 생성 아이디어에서 특히 취약하다는 것을 시사합니다.
새로운 연구의 더 신뢰할 수 있는 평가를 향하여
우리의 결과는 LLM 기반 참신성 평가가 여전히 중요한 미해결 문제임을 시사합니다. 인간 작성 연구에서 신뢰할 수 있어 보이는 판정 모델이 AI 생성 아이디어에서는 다르게 행동할 수 있고, 한 모델에 도움이 되는 프롬프트가 다른 모델에는 해가 될 수 있으며, 더 많은 검색이나 연산이 반드시 더 일관된 판정을 만들어내지는 않습니다.
향후 연구는 판정 모델을 실제로 평가하게 될 유형의 아이디어로 테스트하고, 프롬프트와 모델에 걸친 민감도를 측정하고, 선행 문헌의 반영 방식을 개선하며, 과학 문헌이 성장하고 AI 시스템이 발전함에 따라 진화할 수 있는 벤치마크를 구축해야 합니다. 우리의 벤치마크와 재사용 가능한 데이터 파이프라인은 시작점입니다. 연구자들은 이를 새로운 동료 평가, 다른 과학 커뮤니티, 그리고 미래 세대의 참신성 판정 모델에 적용할 수 있습니다.
자동화된 아이디어 도출은 그럴듯한 연구 방향을 생성하는 것 이상을 필요로 합니다. 그 아이디어가 진정으로 새로운 것인지 판단할 방법도 필요합니다. 이번 릴리스가 기존 신규성 평가자(novelty judge)의 약점을 더 쉽게 측정할 수 있게 함으로써, 연구자들이 AI가 생성한 연구 아이디어를 평가하는 더 견고한 방법을 구축하는 데 도움이 되기를 바랍니다.