本日、私たちは Old Ideas, Novel Problemsを公開します。これは、大規模言語モデルが科学研究のアイデアの新規性をどの程度確実に評価できるかについての新しい研究です。論文に加えて、新規性判定器をテストするためのベンチマーク、データ、コードを公開し、さらに研究者が新しい評価セットを構築するために使用できる自動パイプラインも公開します。
Ai2では、科学発見のさまざまな部分を支援するAIシステムの開発を進めてきました。 DataVoyager は研究者が構造化データを探索・分析するのを支援し、 AutoDiscovery は仮説の生成と検証を行い、 Theorizer は大量の文献群全体からエビデンスを統合して候補となる科学理論を合成します。 Astaとともに、これらのプロジェクトは、研究者が先行研究の理解から新しいアイデアの提案、検証、改良へと進むのを支援できるシステムへの道を示しています。
しかし、研究アイデアの生成は、科学発見の自動化という課題の一部にすぎません。それらのアイデアは、真に新しい何かを贡献する必要があり、つまりこれらのシステムには、既存の研究の再パッケージにすぎない方向性と新規の方向性を区別する方法が必要です。
その判断はしばしば別のLLMに委ねられます。私たちはこれを 新規性判定器（novelty judge）と呼んでいます。新規性判定器は、研究アイデアが先行研究と比べて新しいかどうかを、単独で、または別のアイデアとの比較で評価します。その構築には標準的な方法がなく、研究チームはモデル、プロンプト、評価形式、推論バジェット、そして場合によっては文献検索システムを選択します。これらの選択は判定結果に大きな影響を与える可能性があります。しかし、これらの判定器は、実際に評価対象とするはずのAI生成アイデアではなく、人間が書いた論文のみで検証されることが多いのです。
私たちの新しいベンチマークの結果は、新規性評価そのものがまだ very 信頼できるものから程遠いことを示唆しています。GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5、Claude Opus 4.6 の6つのLLM判定器において、評価設定のわずかな変更が、同じアイデアに対する判定を劇的に変えました。ある実験では、プロンプトの数語を変えるだけで、2つのアイデアのどちらがより新しいかを特定するモデルの正解率が50パーセントポイント以上変動しました。検索や追加の推論は判定を一貫して改善するわけではなく、2つの専用設計の新規性評価システムは、単純なプロンプトによるClaude Opus 4.6のベースラインよりも性能が劣りました。
AIが科学発見においてより大きな役割を果たすようになるなら、AIが実際に新しい何かを提案しているかどうかを見分ける、より信頼性の高い方法が必要です。私たちの研究はこの問題を研究するためのツールを提供すると同時に、いかに多くの問題が未解決のままであるかを示しています。
新規性判定器のためのベンチマーク構築
新規性判定器が、より新しい研究アイデアとそうでないアイデアをどの程度確実に区別できるかをテストするために、まず基礎となる科学的貢献の独創性について強いエビデンスがある事例が必要でした。
そこで私たちは、ICLR 2026 のピアレビューを中心に自動パイプラインを構築しました。論文の採択を新規性の代理指標として扱うのではなく、レビュー担当者が貢献の独創性について明示的に議論している箇所を、レビューそのものから抽出しました。この区別が重要です。論文は、他の側面で十分に強力であれば、特に新しいものではなくても採択されることがあります。同様に、独創的な貢献を持つ却下された論文には、他の弱点があることもあります。
私たちは、ICLRの研究分野で上位10%に評価された採択論文のうち、レビュー担当者が新規性を肯定的に認め、かつそれに異議を唱えたレビュー担当者がいないものを選ぶことで、154件の人間が作成した研究アイデアからなる 高新規性プール 人間の研究者によって書かれた154件の研究アイデアのうち、ICLRの研究分野で上位10%に評価された採択論文のうち、レビュアーが新規性を肯定的に認定し、かつどのレビュアーもそれに異議を唱えなかったものを選択することによって構築しました。逆の基準を適用して、 低新規性プールを作成しました。下位10%の却下論文から、レビュー担当者が独創性への懸念を挙げており、新規性を肯定的に認めたレビュー担当者がいない145件のアイデアです。レビュー抽出プロセスの別の検証として、アノテーターは50件中47件で抽出された新規性シグナルの極性に同意しました。不一致はいずれも、レビュー担当者が論文の新規性を称賛したと数えるか異議を唱えたと数えるかを変えるものではありませんでした。
この2つのプールを合わせたものが、私たちの最初の評価設定です。 Human-Onlyこれは、新規性評価者がより高いまたは低い新規性の強い証拠を持つ人間の発案アイデアを区別できるかを検証するものです。しかし実際には、新規性評価者はAI生成アイデアの評価にもますます使われるようになっています。そこで私たちは2つ目の設定として、 Human+Generated.
このプールでは、検証済みの同じ154の人間のアイデアを、シンプルなLLMジェネレーターが生成した154のアイデアとペアにしました。私たちは生成されたアイデアが対応する人間の発案アイデアより新規性が低いと仮定しました。これらは弱いラベルであり、個々のアイデアごとに検証された判断ではありません。ジェネレーターには研究分野と斬新なアイデアを提案するという指示のみが与えられ、文献検索、ツール、反復、フィードバックは一切ありませんでした。これにより、基本的なジェネレーターによるアイデアと、top-10% ICLR論文でレビュアーが独自性を明示的に支持した貢献との保守的な比較が可能になりました。
追加の検証として、専門家が独立に 30 Human+Generated ペアをレビューしました。このペアは、最も強力な判定モデルが誤った事例に大きく偏らせており、また、判定モデルが単に文体の違いに反応していないかを検証するために、人間とAIが生成したアイデアを共通の構造に書き直しました。専門家は 30 ペアすべてで人間のアイデアを好み、生成されたアイデアのいずれも新規性があると判断しませんでした。
重要なのは、私たちの中核的な発見の多くはラベルにまったく依存していないという点です。2つの妥当な評価のセットアップが同じアイデアのペアに対して正反対の答えを出すなら、その不一致自体が不安定性を示しています。
小さな変更でまったく異なる判定が生まれうる
人間が執筆したアイデアとAIが生成した研究アイデアのコレクションを用いて、GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5、Claude Opus 4.6 の6つのLLM判定モデルが、pointwise(すなわち絶対的な新規性評価)とpairwise(すなわち2つのアイデアを比較して最も新規性が高いものを見つける)の両方の比較で、どの程度新規性を評価できるかを検証しました。1つずつ要素を変えました:プロンプト、推論予算、判定モデルが関連論文を参照できるかどうか、アイデアのフォーマット方法、最終判定にいくつの判断を組み合わせるか、そして(AI生成アイデアについては)どのモデルが生成したか。
パフォーマンスの最も大きな変動は、新規性を判定させるプロンプトの書き方から生じました。
たとえば、GPT-5.4 に対して同じ Human+Generated ペア(各ペアには検証済みの人間執筆アイデア1つとAI生成アイデア1つが含まれる)を、2つのプロンプトで示しました。一方のプロンプトは、レビュアーが各ペアでちょうど1つのアイデアを新規性ありと判断したことをモデルに伝え、どちらかを特定するよう求めました。もう一方は単にどちらのアイデアが新規かを尋ねました。より単純なプロンプトに切り替えると、正解率は 93.5% から 40.9% へと低下し(偶然以下)、モデルは同じペアの半分以上で判定を変えました。
対照的に、同じプロンプトの変更でも、人間執筆アイデアを新規性の強い証拠と弱い証拠とでペアにした Human-Only データセットでは、正解率の変化は約7ポイントにとどまりました。これは、新規性判定モデルが人間執筆の研究では比較的安定して見えても、AI生成アイデアではまったく異なる挙動を示しうることを示唆しています。
とはいえ、人間執筆のアイデアも影響を受けないわけではありませんでした。 Human-Only データセットでも大幅な変動が見られ、同じ変更で Claude Opus 4.6 の正解率は21ポイント動きました。ただし、変動はAI生成アイデアの場合ほど深刻ではありませんでした。
また、すべての状況でより優れたプロンプトも存在しませんでした。たとえば、アイデアを個別に判定する場合、些細な貢献や漸進的な貢献を新規として扱わないよう判定モデルに警告する指示を削除すると、一部の判定モデルでは正解率が向上し、他では低下しました。つまり、あるモデルでうまく機能するプロンプトが別のモデルにそのまま転用できるとは限りません。
新規性判定モデルの一般的な使用例、すなわち2つのAIジェネレーターのアイデア比較も検証しました。Claude Opus 4.5 と Claude Sonnet 4.5、および GPT-5.4 と GPT-5.1 のアイデアをペアにしました。テストしたプロンプトの変更全体を通じて、6つの判定モデルの平均でおよそ4分の1から3分の1の判定が変わりました。この不一致は、どちらのジェネレーターがより新規性の高いアイデアを生み出すかを仮定することなく測定でき、判定モデルのプロンプトの選択がアイデア生成システム間の比較に影響しうることを示しています。
より多くの検索と推論が、必ずしもより良い新規性判断を生むわけではありませんでした。GPT-5.6 Sol に特別に高い推論予算と、arXiv に限定されたライブの反復検索を与え、それぞれ5つの事前取得された要旨を参照する標準検索の判定モデルと比較しました。(この比較におけるすべての判定モデルは、 Human+Generated上で各アイデアにつき1回実行されました。)エージェント型の判定モデルは 0.78 のmacro-F1を記録し、これは 0.89 の Claude Opus 4.6 に11ポイント劣り、より単純な Claude Opus 4.5 および GPT-5.4 のセットアップとほぼ同じ範囲でした。一方、現在のAPI価格では判断1回あたりのコストは約10倍でした。(この文脈でのmacro-F1は、判定モデルが新規および非新規のアイデアをどの程度正しく識別できるかを測るもので、高いほど良いです。)
専用に構築された評価器も、コストが大幅に高かったにもかかわらず、より正確ではありませんでした。 Human+Generated セットでは、低推論と3回の呼び出しによる多数決を用いた単純な Claude Opus 4.6 プロンプトが、合計評価コスト $2.59 で 0.854 のmacro-F1を達成しました。比較として、文献に基づく検索・リランキングパイプラインである Idea Novelty Checker は $30.66 で 0.642、Semantic Scholar を反復的に検索する新規性評価器を持つ Sakana AI の AI Scientist は $82.05 で 0.772 を記録しました。(両方の専用評価器は Claude Opus 4.6 を使用し、判断1回につき1回の呼び出しでした。)
つまり、単純なプロンプトベースラインは、どちらの専用システムよりも正確で、かつ大幅に安価でした。
これらの結果を総合すると、新規性評価は、こうしたシステムがますます判断を求められているAI生成アイデアにおいて特に脆弱であることが示唆されます。
新規研究のより信頼できる評価に向けて
私たちの結果は、LLMベースの新規性評価が依然として大きな未解決問題であることを示唆しています。人間執筆の研究では信頼できるように見える判定モデルが、AI生成アイデアでは異なる挙動を示しうること、あるモデルに有効なプロンプトが別のモデルには害を及ぼしうること、そしてより多くの検索や計算資源が必ずしもより一貫した判断を生むわけではないことが分かりました。
今後の研究では、判定モデルが実際に評価する種類のアイデアでそれらをテストすること、プロンプトやモデル間の感度を測定すること、先行文献の取り込み方を改善すること、そして科学文献が成長しAIシステムが向上するにつれて進化できるベンチマークを構築することが求められます。私たちのベンチマークと再利用可能なデータパイプラインは出発点であり、研究者はそれらを新しい査読、他の科学コミュニティ、そして将来世代の新規性判定モデルに適用できます。
自動化されたアイデア創出は、もっともらしい研究の方向性を生成するだけでは不十分です。それらのアイデアが本当に新しいものかどうかを見分ける方法も必要です。今回のリリースによって現在の新規性判定手法の弱点を測定しやすくなり、AIが生成した研究アイデアを評価するより堅牢な方法を研究者が構築する一助となればと考えています。