📄 Artículo | 📊 Datos | 💻 Código
Hoy lanzamos Old Ideas, Novel Problems, un nuevo estudio sobre cómo de manera confiable los grandes modelos de lenguaje pueden evaluar la novedad de las ideas de investigación científica. Junto con el artículo, publicamos una referencia de medición, datos y código para probar los sistemas de evaluación de novedad, además de un proceso automatizado que los investigadores pueden utilizar para crear nuevos conjuntos de evaluación.
En Ai2, hemos estado desarrollando sistemas de IA que apoyan diferentes aspectos de la descubrimiento científica. DataVoyager ayuda a los investigadores a explorar y analizar datos estructurados, AutoDiscovery genera y prueba hipótesis, y Theorizer sintetiza evidencia de grandes volúmenes de literatura en teorías científicas candidatas. Junto con Asta, estos proyectos apuntan a sistemas que pueden ayudar a los investigadores a pasar de comprender el trabajo previo a proponer, probar y perfeccionar nuevas ideas.
Pero generar ideas de investigación es solo una parte del desafío de automatizar el descubrimiento científico. Esas ideas también deben aportar algo verdaderamente nuevo, lo que significa que estos sistemas necesitan una forma de distinguir una dirección novedosa de aquella que simplemente reutiliza el trabajo existente.
Ese juicio a menudo se entrega a otro LLM: lo que llamamos juez de novedad. Los jueces de novedad evalúan si una idea de investigación es nueva en relación con el trabajo previo, ya sea por sí sola o en comparación con otra idea. No existe una forma estándar de crear uno; los equipos de investigación eligen un modelo, un prompt, un formato de evaluación, un presupuesto de razonamiento y, a veces, un sistema de recuperación de literatura. Esas elecciones pueden influir materialmente en el veredicto. Sin embargo, estos jueces a menudo se validan únicamente con artículos escritos por humanos, y no con las ideas generadas por IA que realmente están destinados a evaluar.
Los nuevos resultados de referencia sugieren que la evaluación de la novedad en sí está lejos de ser confiable. Entre seis jueces de LLM – GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 y Claude Opus 4.6 – cambios aparentemente pequeños en el sistema de evaluación producen juicios muy diferentes sobre las mismas ideas. En un experimento, cambiar solo unas pocas palabras en una instrucción hace que la precisión de un modelo en identificar qué de dos ideas es más novedoso aumente en más de 50 puntos porcentuales. La recuperación y el razonamiento adicional no mejoran de manera consistente las evaluaciones, y dos sistemas especialmente diseñados para la evaluación de novedades tienen un rendimiento peor que una base simple de Claude Opus 4.6.
Si la IA va a desempeñar un papel más importante en el descubrimiento científico, necesitamos métodos más fiables para determinar si realmente está proponiendo algo nuevo. Nuestro trabajo proporciona herramientas para estudiar ese problema, al mismo tiempo que muestra cuánto queda sin resolver.
Construir un benchmark para los jueces de novedad
Para probar si los jueces de novedad pueden distinguir con fiabilidad las ideas de investigación más novedosas de las menos novedosas, primero necesitamos ejemplos en los que hubiera evidencia sólida sobre la originalidad de la contribución científica subyacente.
Así que construimos una cadena de procesamiento automatizada en torno a las revisiones de pares del ICLR 2026. En lugar de tratar la aceptación de artículo como un proxy para su novedad, extraemos las propias revisiones para encontrar pasajes en los que los revisores discuten explícitamente la originalidad de la contribución. Esta distinción es clave; un artículo puede ser aceptado sin ser particularmente novedoso, siempre y cuando sea lo suficientemente sólido en otros aspectos. De igual manera, un artículo rechazado que tenga una contribución original puede tener otras debilidades.
Creamos una conjunta de alta novedad de 154 ideas de investigación escritas por humanos, seleccionando artículos aceptados en el 10% superior de su área de investigación en ICLR cuyos revisores identificaron positivamente la novedad y donde ningún revisor lo disputó. Aplicamos los criterios inversos para construir una conjunta de baja novedad: 145 ideas de artículos rechazados en el 10% inferior cuyos revisores plantearon preocupaciones sobre la originalidad sin que ningún revisor identificara positivamente la novedad. En una verificación separada del proceso de minería de revisiones, un anotador estuvo de acuerdo con la polaridad de la señal de novedad extraída en 47 de 50 casos; ninguna desacuerdo habría cambiado si un revisor fuera contado como quien elogia o disputa la novedad del artículo.
Juntos, estos dos conjuntos de datos forman nuestro primer entorno de evaluación, Human-Only, que prueba si los jueces de novedad pueden distinguir ideas escritas por humanos con evidencias claras de mayor o menor novedad. Pero en la práctica, los jueces de novedad se están utilizando cada vez más para evaluar ideas generadas por IA. Por lo tanto, creamos un segundo entorno, Human+Generated.
Para este grupo, combinamos las mismas 154 ideas humanas validadas con 154 ideas generadas por un simple generador de LLM. Supusimos que las ideas generadas eran menos novedosas que sus contrapartes escritas por seres humanos; estos son etiquetas débiles, no juicios verificados para cada idea. El generador recibió únicamente un área de investigación y una instrucción para proponer una idea novedosa, sin búsqueda de literatura, herramientas, iteraciones ni retroalimentación. Esto nos permitió realizar una comparación conservadora entre las ideas de un generador básico y las contribuciones de los artículos del top-10% de ICLR, cuyos revisores habían respaldado explícitamente su originalidad.
Como verificaciones adicionales, un experto revisó de forma independiente 30 pares Human+Generated, en los que había una gran concentración de casos en los que nuestro juez más fuerte cometió errores. Reescribimos las ideas generadas por humanos y por IA en una estructura común para probar si los jueces simplemente reaccionaban a las diferencias en el estilo de escritura. El experto prefirió la idea humana en todos los 30 pares y consideró que ninguna de las ideas generadas era novedosa.
Es importante destacar que muchos de nuestros hallazgos clave no dependen en absoluto de las etiquetas. Si dos configuraciones razonables de evaluación dan respuestas opuestas para el mismo par de ideas, esa discrepancia en sí revela la inestabilidad.
Los pequeños cambios pueden producir resultados muy diferentes
Utilizando nuestras colecciones de ideas de investigación escritas por humanos y generadas por IA, probamos qué tan bien seis jueces de LLM – GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 y Claude Opus 4.6 – podían evaluar la novedad, tanto mediante comparaciones individuales (es decir, calificaciones de novedad absoluta) como mediante comparaciones pares (es decir, comparando dos ideas para encontrar la más novedosa). Variamos un factor por vez: el prompt, el presupuesto de razonamiento, si el juez podía ver los documentos relacionados, cómo se formateaban las ideas, cuántas sentencias se combinaban en una decisión final y – para las ideas generadas por IA – qué modelo las creó.
Los mayores cambios en el rendimiento provenieron de la forma en que solicitamos al modelo que juzgara la novedad.
Por ejemplo, mostramos a GPT-5.4 los mismos pares Human+Generated – cada uno conteniendo una idea escrita por un ser humano validada y una idea generada por la IA – con dos prompts. Un prompt indicaba al modelo que los revisores habían encontrado exactamente una idea en cada par como novedosa y le pedía que identificara cuál era; el otro simplemente preguntaba qué idea era novedosa. Cuando pasamos a un prompt más sencillo, la precisión disminuyó de 93.5% a 40.9% – por debajo de la probabilidad – y el modelo cambió su juicio en más de la mitad de los mismos pares.
En contraste, el mismo cambio en la solicitud alteró la precisión en solo unos siete puntos porcentuales. Solo para humanos conjunto de datos, que relaciona las ideas escritas por seres humanos con evidencia de novedad más fuerte y más débil. Esto sugiere que el juez de novedad puede ser relativamente estable en investigaciones escritas por seres humanos, pero comportarse de manera muy diferente en ideas generadas por IA.
Dicho esto, las ideas escritas por humanos no estaban exentas de cambios. También observamos cambios significativos en el conjunto de datos Human-Only; el mismo cambio elevó la precisión de Claude Opus 4.6 en 21 puntos. Los cambios fueron solo menos graves que los observados en las ideas generadas por IA.
Tampoco existía un prompt universalmente mejor. Por ejemplo, al juzgar las ideas de manera individual, se podría incluir una instrucción que advirtiera a los jueces no tratar las contribuciones triviales o incrementales como algo novedoso, lo que aumentaría la precisión para algunos jueces, mientras que para otros reduciría esa precisión. Un prompt que funciona bien para un modelo puede no funcionar en otro, en otras palabras.
También probamos un uso común de jueces de novedad: comparar ideas de dos generadores de IA. Asociamos las ideas de Claude Opus 4.5 con Claude Sonnet 4.5, y GPT-5.4 con GPT-5.1. En los cambios de prompt probados, aproximadamente un cuarto a una tercera parte de los veredictos cambiaron en promedio entre seis jueces. Esta desacuerdo puede medirse sin asumir qué generador produce ideas más novedosas, lo que muestra cómo la elección del prompt de juez puede afectar las comparaciones entre sistemas de ideación.
Más búsqueda y razonamiento no necesariamente produjeron juicios más buenos sobre la novedad. Le dimos a GPT-5.6 Sol un presupuesto de razonamiento muy alto y restringimos la búsqueda en tiempo real e iterativa al arXiv; luego lo comparamos con jueces de recuperación estándar que vieron cinco resúmenes previamente recuperados. (Todos los jueces en esta comparación se ejecutaron una vez por idea en Human+Generated.) El juez agentic obtuvo un 0.78 macro-F1, 11 puntos por debajo de Claude Opus 4.6, que tenía un 0.89, y aproximadamente en el mismo rango que las configuraciones más simples de Claude Opus 4.5 y GPT-5.4; mientras que costaba aproximadamente 10 veces más por decisión a los precios actuales de la API. (En este contexto, el macro-F1 mide qué bien un juez identifica ideas nuevas y no nuevas; cuanto mayor, mejor.)
Los evaluadores diseñados específicamente para el propósito tampoco eran más precisos, a pesar de que costaban mucho más. En el conjunto Human+Generated, un simple prompt de Claude Opus 4.6 que utilizaba poco razonamiento y votación mayoritaria en tres llamadas logró un 0.854 macro-F1 con un costo total de evaluación de $2.59. En comparación, el Idea Novelty Checker, un pipeline de recuperación y reranking basado en literatura, obtuvo un 0.642 por $30.66, mientras que el AI Scientist de Sakana AI, cuyo evaluador de novedad busca iterativamente en Semantic Scholar, obtuvo un 0.772 por $82.05. (Ambos evaluadores dedicados utilizaron Claude Opus 4.6, con una llamada por decisión.)
En otras palabras, el simple sistema de referencia solicitado era tanto más preciso como considerablemente más económico que cualquier sistema diseñado específicamente para ese propósito.
En conjunto, estos resultados sugieren que la evaluación de novedad es particularmente frágil en cuanto a las ideas generadas por IA, para las cuales estos sistemas son cada vez más solicitados a juzgar.
>Hacia una evaluación más confiable de investigaciones novedosas
Nuestros resultados sugieren que la evaluación de novedad basada en LLM sigue siendo un problema abierto importante. Los jueces que parecen fiables en investigaciones escritas por humanos pueden comportarse de manera diferente con ideas generadas por IA; las instrucciones que ayudan a un modelo pueden perjudicar a otro; y más búsqueda o cálculo no necesariamente producen juicios más consistentes.
El trabajo futuro debería probar a los jueces las clases de ideas que realmente evaluarán, medir la sensibilidad entre prompts y modelos, mejorar la forma en que se incorpora la literatura previa y construir puntos de referencia que puedan evolucionar a medida que crece la literatura científica y mejoran los sistemas de IA. Nuestros puntos de referencia y el pipeline de datos reutilizable son un punto de partida; los investigadores pueden aplicarlos en nuevas revisiones por pares, otras comunidades científicas y las futuras generaciones de jueces de novedad.
La idea automatizada depende de más que simplemente generar direcciones de investigación plausibles; también necesitamos métodos para saber cuándo esas ideas son realmente nuevas. Al hacer que las debilidades de los evaluadores de la novedad actual sean más fáciles de medir, esperamos que esta publicación ayude a los investigadores a desarrollar formas más robustas de evaluar las ideas de investigación generadas por IA.