Heute veröffentlichen wir Old Ideas, Novel Problems, eine neue Studie darüber, wie zuverlässig große Sprachmodelle die Neuheit wissenschaftlicher Forschungsideen bewerten können. Neben dem Artikel veröffentlichen wir auch einen Benchmark, Daten und Code für den Test von Neuheitsevaluatoren sowie einen automatisierten Prozess, den Forscher zur Erstellung neuer Bewertungssets verwenden können.
Bei Ai2 haben wir AI-Systeme entwickelt, die verschiedene Aspekte der wissenschaftlichen Entdeckung unterstützen. DataVoyager hilft Forschern dabei, strukturierte Daten zu erkunden und zu analysieren. AutoDiscovery erstellt und testet Hypothesen, und Theorizer synthetisiert Beweise aus großen Datenbeständen zu kandidatischen wissenschaftlichen Theorien. Zusammen mit Asta führen diese Projekte zu Systemen, die Forschern helfen können, von der Verständnis früherer Arbeiten zu der Vorstellung, Tests und Verbesserung neuer Ideen zu gelangen.
Aber die Erzeugung von Forschungsideen ist nur ein Teil der Herausforderung bei der Automatisierung wissenschaftlicher Entdeckungen. Diese Ideen müssen außerdem etwas wirklich Neues beitragen, was bedeutet, dass diese Systeme eine Möglichkeit benötigen, eine neuartige Richtung von einer, die hauptsächlich bestehende Arbeiten neu verpackt, zu unterscheiden.
Dieser Urteil wird oft an ein anderes LLM übergeben – was wir Neuerfindungsjudge nennen. Die Neuerfindungsjudge beurteilen, ob eine Forschungsidee im Vergleich zu früheren Arbeiten neu ist, entweder allein oder im Vergleich mit einer anderen Idee. Es gibt keine standardisierte Methode, um solche Judge zu erstellen; Forschungsteams wählen ein Modell, einen Prompt, eine Bewertungsform, einen Berechnungsrahmen und manchmal auch ein System zur Literatursuche aus. Diese Entscheidungen können den Urteilsspruch erheblich beeinflussen. Dennoch werden diese Judge oft nur an menschlich verfassten Artikeln validiert, nicht an den von der AI erstellten Ideen, die sie eigentlich bewerten sollen.
Unsere neuen Benchmarkergebnisse zeigen, dass die Bewertung der Neuheit selbst weit davon entfernt ist, zuverlässig zu sein. Bei sechs LLM-Judge-Modellen – GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 und Claude Opus 4.6 – führen scheinbar kleine Veränderungen im Bewertungsprotokoll zu stark unterschiedlichen Urteilen über dieselben Ideen. In einem Experiment verursacht die Änderung nur weniger Wörter in einem Prompt eine Steigerung der Genauigkeit eines Modells bei der Identifizierung, welche der beiden Ideen neuer ist, von mehr als 50 Prozentpunkten. Die Suche und zusätzliche Rechnung verbessern die Beurteilungen nicht konstant, und zwei speziell entwickelte Systeme zur Bewertung der Neuheiten funktionieren schlechter als ein einfaches, vorgegebenes Claude Opus 4.6-Basismodell.
Wenn die KI eine größere Rolle in der wissenschaftlichen Entdeckung spielen wird, brauchen wir zuverlässigere Methoden, um festzustellen, ob sie tatsächlich etwas Neues vorschlägt. Unsere Arbeit bietet Werkzeuge zur Untersuchung dieses Problems an, während sie zeigt, wie viel noch ungelöst ist.
Erstellen eines Benchmarks für die Bewertung von Neuheiten
Um zu testen, wie zuverlässig die Urteiler neue Originalität von weniger neuen Forschungsideen unterscheiden können, benötigten wir zunächst Beispiele, in denen es starke Beweise bezüglich der Originalität des wissenschaftlichen Beitrags gab.
Wir haben also einen automatisierten Prozess entwickelt, der die Peer-Reviews für ICLR 2026 berücksichtigt. Anstatt die Zulassung eines Artikels als Indikator für Neuheit zu betrachten, haben wir die Reviews selbst gesichtet, um Passagen zu finden, in denen die Rezensenten explizit über die Originalität einer Leistung sprachen. Diese Unterscheidung ist wichtig: Ein Artikel kann zulassen, ohne besonders neu zu sein, solange er in anderen Aspekten ausreichend stark ist. Ebenso kann ein abgelehnter Artikel mit einer originellen Leistung andere Schwächen haben.
Wir haben eine hohe-Neuheiten-Pool mit 154 von Menschen verfassten Forschungsideen erstellt, indem wir akzeptierte Artikel aus dem besten 10% des ICLR-Forschungsbereichs auswählten, bei denen die Rezensenten die Neuheit positiv anerkannten und keine Rezensenten dazu widersprachen. Wir angewandten die umgekehrte Kriterienmethode, um eine niedrige-Neuheiten-Pool zu erstellen: 145 Ideen aus abgelehnten Artikeln aus dem niedrigsten 10%, bei denen die Rezensenten Anzeichen für Originalität hervorbrachten, ohne dass jemand die Neuheit positiv anerkannte. Bei einer separaten Überprüfung des Rezensionen-Suchensproesses stimmte ein Annotator in 47 von 50 Fällen mit der extrahierten Polarität des Neuheitssignals überein; keine der Meinungsverschiedenheiten hätte die Bewertung des Artikels als Lob oder Widerspruch gegen die Neuheit verändert.
Gemeinsam bilden diese beiden Pool-Konfigurationen unsere erste Bewertungsumgebung, Human-Only, die prüft, ob die Neuerheitsjuristen unterschiedliche Ideen von menschlichen Autoren erkennen können, indem sie klare Hinweise auf höhere oder niedrigere Neuheit bieten. In der Praxis werden jedoch die Neuerheitsjuristen zunehmend verwendet, um von künstlich generierten Ideen zu bewerten. Deshalb haben wir eine zweite Konfiguration erstellt, Human+Generated.
Für diese Pool verknüpften wir die gleichen 154 validierten menschlichen Ideen mit 154 Ideen, die von einem einfachen LLM-Generator erstellt wurden. Wir gingen davon aus, dass die generierten Ideen weniger originell waren als die menschlich verfassten Varianten; dies sind schwache Bezeichnungen, keine verifizierten Urteile für jede Idee. Der Generator erhielt nur einen Forschungsbereich und eine Anweisung, eine originelle Idee vorzuschlagen, ohne jegliche Literatursuche, Tools, Iteration oder Feedback. Dies gab uns eine konservative Vergleichung zwischen Ideen eines grundlegenden Generators und Beiträgen von Artikeln aus den Top-10% der ICLR-Papers, deren Rezensenten ihre Originalität ausdrücklich bestätigt hatten.
Als zusätzliche Überprüfungen überprüfte ein Experte unabhängig 30 Human+Generated-Paare, bei denen die Gewichtung stark auf Fälle lag, in denen unser stärkster Richter falsch entschieden hatte. Wir überarbeiteten die von Mensch und KI erstellten Ideen in eine gemeinsame Struktur, um zu testen, ob die Richter einfach nur auf Unterschiede im Schreibstil reagierten. Der Experte wählte in allen 30 Paaren die menschliche Idee und bewertete keine der generierten Ideen als neu.
Wichtig ist, dass viele unserer Kernergebnisse überhaupt nicht von den Etiketten abhängen. Wenn zwei vernünftige Bewertungskonfigurationen für das gleiche Paar von Ideen entgegengesetzte Antworten geben, zeigt diese Unstimmigkeit selbst Unzuverlässigkeit.
Kleine Änderungen können sehr unterschiedliche Urteile hervorrufen
Mit unseren Sammlungen von Forschungsideen, die von Menschen verfasst oder von KI erstellt wurden, haben wir untersucht, wie gut sechs LLM-Judge-Algorithmen – GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 und Claude Opus 4.6 – die Neuheit bewerten können, sowohl punktgenau (d. h. absolute Neuheit-Ratings) als auch paarweise (d. h. das Vergleichen zweier Ideen, um die neueste zu finden). Wir variierten einen Faktor nach dem anderen: den Prompt, das Rechenbudget, ob der Richter verwandte Papiere sehen konnte, wie die Ideen formatiert waren, wie viele Urteile in einem endgültigen Urteil zusammengefasst wurden und – für von KI erzeugte Ideen – welches Modell sie erstellt hatte.
Die größten Schwankungen in der Leistung entstanden durch die Art und Weise, wie wir das Modell aufforderten, Neuheit zu beurteilen.
Zum Beispiel zeigten wir GPT-5.4 dieselben Human+Generated-Paare – jeder enthält eine validierte menschliche Idee und eine von der AI erstellte Idee – mit zwei Anweisungen. Eine Anweisung sagte dem Modell, dass die Überprüfer in jedem Paar genau eine Idee als neu bewertet hätten, und bat es, herauszufinden, welche es war; die andere Anweisung fragte einfach, welche Idee neu war. Als wir auf die einfachere Anweisung umstellen, sank die Genauigkeit von 93,5% auf 40,9% – unter dem Durchschnitt – und das Modell änderte seine Bewertung für mehr als die Hälfte desselben Paares.
Im Gegensatz dazu veränderte die gleiche Anweisung die Genauigkeit im Human-Only-Datensatz nur um etwa sieben Prozentpunkte, wobei menschliche Ideen mit stärkeren und schwächeren Belegen für Neuheit verknüpft werden. Dies deutet darauf hin, dass der Neuheitjünger bei menschlichen Forschungsergebnissen relativ stabil sein kann, aber bei von KI erstellten Ideen sehr unterschiedlich handeln kann.
Dennoch waren die von Menschen erstellten Ideen nicht immun. Wir sahen auch erhebliche Veränderungen im Human-Only-Datensatz; dieselbe Veränderung führte zu einer Steigerung der Genauigkeit von Claude Opus 4.6 um 21 Punkte. Die Veränderungen waren nur weniger stark als bei den von KI erstellten Ideen.
Es gab auch keinen universell besseren Prompt. Zum Beispiel: Wenn man die Ideen einzeln bewertet, könnte eine Anweisung gegeben werden, die den Juroren sagt, nicht triviale oder kleinere Beiträge als neuartige Verbesserungen zu betrachten – wodurch die Genauigkeit für einige Juroten erhöht wird, während sie für andere verringert wird. Ein Prompt, der für einen Modelltyp gut funktioniert, könnte nicht auf einen anderen Modelltyp übertragen werden.
Wir haben auch eine häufige Anwendung der Neuerheitsbeurteilung getestet: die Vergleichung von Ideen aus zwei AI-Generatoren. Wir kombinierten Ideen von Claude Opus 4,5 mit Claude Sonnet 4,5 und GPT-5,4 mit GPT-5,1. Unter den getesteten Prompt-Veränderungen änderten sich im Durchschnitt etwa ein Viertel bis ein Drittel der Urteile bei sechs Richtern. Diese Unstimmigkeit kann ohne die Annahme, welcher Generator mehr neuartige Ideen erzeugt, gemessen werden – was zeigt, wie die Wahl des Richtern für den Prompt die Vergleiche zwischen Ideenbildungssystemen beeinflusst.
Mehr Suche und Rechenspiele führten nicht unbedingt zu besseren Bewertungen bezüglich Neuheiten. Wir gaben GPT-5.6 Sol ein sehr hohes Rechenbudget und beschränkten die lebendige, iterative Suche auf arXiv. Anschließend verglichen wir es mit Standardretrieval-Judge, bei denen jeder eine fünf vorab abgerufene Zusammenfassung sah. (Alle Judge in dieser Vergleichung wurden einmal pro Idee auf Human+Generated getestet.) Der agentische Judge erreichte 0.78 Macro-F1 – 11 Punkte hinter Claude Opus 4.6 mit 0.89, und in etwa im gleichen Bereich wie die einfachere Claude Opus 4.5- und GPT-5.4-Setup – während die Kosten pro Entscheidung bei aktuellen API-Kosten etwa 10× höher waren. (In diesem Kontext misst Macro-F1, wie gut ein Judge neuartige und nicht-neuartige Ideen erkennt; je höher, desto besser.)
Die speziell entwickelten Bewertungsalgorithmen waren ebenfalls nicht genauer, obwohl sie deutlich teurer waren. Im Human+Generated-Set erreichte ein einfacher Claude Opus 4.6-Prompt mit niedriger Rechenleistung und Mehrheitsabstimmung bei drei Anfragen eine Macro-F1-Wert von 0,854 bei einer Gesamtkostenbewertung von $2,59. Im Vergleich erzielte der Idea Novelty Checker, ein Literaturbasierter Abruf- und Neuerstellungsschachtel, einen Wert von 0,642 für $30,66, während der AI Scientist von Sakana AI, dessen Novelty-Evaluator iterativ Semantic Scholar durchsucht, einen Wert von 0,772 für $82,05 erzielte. (Beide dedizierte Bewertungsalgorithmen verwendeten Claude Opus 4.6, mit einer Anfrage pro Entscheidung.)
Mit anderen Worten war die einfache, vorgegebene Basis sowohl genauer als auch deutlich kostengünstiger als jedes speziell konzipierte System.
Zusammengefasst deuten diese Ergebnisse darauf hin, dass die Bewertung der Neuheit besonders instabil ist, wenn es um Ideen geht, die von KI erstellt wurden und gegenüber denen diese Systeme immer mehr beurteilt werden müssen.
>Für eine zuverlässigere Bewertung neuer Forschung
Unsere Ergebnisse deuten darauf hin, dass die Bewertung der Neuheiten auf Basis von LLMs weiterhin ein großes offenes Problem darstellt. Richter, die als zuverlässig erscheinen, wenn es um Forschungsarbeiten mit menschlichen Texten geht, können bei Ideen, die von KI erstellt werden, anders handeln; Anweisungen, die einen Modell eine Unterstützung bieten, können ein anderes Modell schaden; und mehr Suche oder Berechnungen führen nicht unbedingt zu konsistenteren Urteilen.
Die zukünftigen Arbeiten sollten die Jurotten auf die Arten von Ideen testen, die sie tatsächlich bewerten, die Sensibilität zwischen Prompten und Modellen messen, die Einbeziehung früherer Literatur verbessern und Benchmarks entwickeln, die mit dem Wachsen der wissenschaftlichen Literatur und der Verbesserung von KI-Systemen weiter entwickelt werden können. Unsere Benchmark und der wiederverwendbare Datenpfad sind ein Ausgangspunkt – Forscher können sie auf neue Peer-Review-Prozesse, andere wissenschaftliche Gemeinschaften und zukünftige Generationen von Juroten anwenden.
Die automatische Ideenbildung hängt nicht nur von der Generierung plausibler Forschungsrichtungen ab; wir benötigen auch Methoden, um festzustellen, ob diese Ideen wirklich neu sind. Durch die leichtere Messbarkeit der Schwächen der aktuellen Neuheitbeurteilungsmethoden hoffen wir, dass diese Veröffentlichung den Forschern hilft, robustere Wege zur Bewertung von von KI generierten Forschungsideen zu entwickeln.