Los investigadores están cansados de que OpenAI supervise sus avances

El lunes, OpenAI anunció impresionantes logros en matemáticas, informática y física, junto con lo que la empresa dice ser un enfoque en evolución para comunicar sus hallazgos. Pero a pesar de su aparente corrección de rumbo, los investigadores a quienes se les consultó por The Verge están cada vez más cansados de las actitudes de la empresa.

Han sido unos meses turbulentos entre OpenAI y los matemáticos, quienes todavía están lidiando con las cientos de preprints despachados sin ceremonias al comienzo de octubre. Esta vez, OpenAI dice que está trabajando con expertos “pastores” para decidir cómo compartir mejor sus últimos avances.

Relacionado

• ‘Pura locura’: Los matemáticos necesitarán años para entender la última caída de OpenAI
• La toma de posesión de las matemáticas por parte de la IA ha comenzado
• OpenAI solo quiere ganar

Los tres resultados se refieren a algunos de los problemas sin solución más importantes en las áreas de las matemáticas, la informática y la física. Algunos amplían el trabajo anterior de OpenAI, mientras que otros abren nuevos caminos. Siguiendo los consejos de los “pastores” de OpenAI, cada uno tiene una estrategia de lanzamiento diferente. Para el resultado matemático, OpenAI publicó la salida generada por IA, “permitiendo a los investigadores organizar sus propios esfuerzos para explicar el resultado”. En cuanto al hallazgo en informática, OpenAI también reunirá un grupo externo de investigadores “para explicar el resultado”. Por su parte, la física no ha sido publicada en absoluto, y OpenAI dijo que “dejará” a un grupo externo de expertos decidir cómo publicar los materiales.

• El resultado matemático parece impresionante. Pretende resolver la conjetura de Kakeya en todas las dimensiones. En términos generales, el problema se refiere a cuánto espacio se necesita para rotar una aguja o un lápiz en todas las direcciones. Una prueba de la versión tridimensional fue una de las logros por los cuales el matemático de NYU, Hong Wang, recibió la prestigiosa Medalla Fields este año. El profesor de matemáticas de la Universidad de Brown, Brendan Hassett, le dijo a The Verge que la afirmación de OpenAI “parece bien sustentada”, aunque destacó que aún no había verificado la formalización de Lean, un método para verificar computacionalmente los resultados.

• El resultado de la física explora el Modelo Estándar, el marco teórico más exitoso y completo en física. Se refiere a la cromodinámica cuántica, que describe la fuerza nuclear fuerte, una de las cuatro fuerzas fundamentales de la naturaleza (junto con la fuerza gravitacional, la fuerza electromagnética y la fuerza nuclear débil), y su relación con la teoría de Yang-Mills, un pilar de la física de partículas moderna. La teoría de Yang-Mills también está en el corazón de uno de los siete problemas del Premio Millennium en matemáticas, aunque el trabajo de OpenAI no aborda la “brecha de masa” no resuelta.

• El resultado final pretende refutar la hipótesis del tiempo exponencial, una suposición ampliamente aceptada en la ciencia de la computación teórica según la cual ciertos problemas no pueden resolverse de manera significativamente más rápida que los enfoques de fuerza bruta. Está estrechamente relacionado con P versus NP, otro problema del Premio Millennium y uno de los mayores problemas sin resolver en este campo, que se pregunta si los problemas cuya solución puede ser fácilmente verificada también son fáciles de resolver.

Dadas las diferentes niveles de revelación y la complejidad de evaluar tal trabajo, es difícil para los investigadores juzgar completamente los hallazgos de la empresa. Incluso con toda la información, hacerlo requeriría tiempo. Pero los expertos que hablaron con The Verge dijeron que hay buenas razones para tomar los resultados en serio, describiéndolos como “enorme”, “avances importantes” y “significativos”.

“No tiene sentido que solo unos pocos científicos destacados puedan mirarlos”.

Pero la emoción de los investigadores por la ciencia se vio mitigada por la frustración con la conducta de OpenAI, una sensación familiar después de meses de lo que describen como un torrente agotador de hallazgos generados por IA. Muchos querían que la comunidad en general llevara a cabo la difícil tarea de examinar los hallazgos del laboratorio de IA y se preguntaban por qué OpenAI ponía barreras adicionales seleccionando personalidades expertas para supervisar el proceso.

La mayoría de los expertos de The Verge acogieron con beneplácito la decisión de OpenAI de consultar investigadores externos, pero argumentaron que anunciar públicamente los resultados también debería significar poner ese trabajo a disposición de cualquiera para que lo examinara. “Estoy bien con que publiquen los problemas como lo hicieron hoy”, dijo Constantin Kogler, investigador del Instituto de Estudios Avanzados, acogiendo positivamente el lote de tres resultados, más manejable en comparación con las cientos de resultados publicados anteriormente. Pero cuestionó la decisión de restringir el acceso a los expertos elegidos por OpenAI. “No tiene sentido que solo unos pocos científicos destacados puedan verlos”, dijo.

Relacionado

• OpenAI sigue reclutando matemáticos
• OpenAI quiere consultar a matemáticos de élite sobre cómo no cometer errores nuevamente
• Los matemáticos quieren pruebas de que OpenAI no utilizó su trabajo

“El hecho de que elijan personalmente al grupo es un desastre”, dijo Andreas Karch, profesor de física en la Universidad de Texas en Austin, a The Verge. “Los grandes laboratorios ya tienen suficiente potencia. No deberían elegir ganadores y perdedores”. Inicialmente, Karch sugirió seleccionar a los investigadores a través de un “proceso competitivo”, aunque reconoció que probablemente se formaría un grupo similar, el cual describió como “de primera calidad”. Más tarde, preguntó por qué OpenAI “no puede publicar las pruebas ahora”, además de nombrar a su equipo de expertos. “Esto democratizaría el acceso, mientras se demuestra que les importa hacer que los resultados sean significativos y comprensibles”, dijo.

“Mi sensación es que, para cualquier enfoque, habrá alguien que se sienta molesto.”

Es exactamente el tipo de control que el Grupo Asesor sobre Matemáticas e Inteligencia Artificial (AGMAI), un grupo de expertos de OpenAI, había prometido anteriormente consultar sobre cómo compartir sus hallazgos, advirtió justo un día antes de la publicación. “Recomendamos que las empresas de IA no adopten esta práctica”, dijeron, argumentando que seleccionar a ciertas personas para recibir los resultados primero es “innecesario”, arrebata la reputación de los investigadores seleccionados y supone riesgos como acceso desigual, selección sesgada y retrasos, entre otros problemas. En su lugar, recomendaron que los laboratorios de IA publiquen los resultados en repositorios académicos, con pruebas formales e información sobre cómo se eligieron los problemas, y proporcionen financiación y otro apoyo a las personas que trabajan en comprender los resultados.

Tras la publicación de los últimos resultados, AGMAI instó a OpenAI a “publicar sin demora los resultados en lenguaje natural y los outputs de Lean que se anunciaron” en física:

“Aunque estas son cuestiones centrales en física, también son cuestiones importantes en matemáticas. La existencia de la teoría cuántica de Yang-Mills forma parte del problema del Premio del Milenio, y la construcción de teorías de campos cuánticos interactivos en cuatro dimensiones ha sido un objetivo de la física matemática durante décadas.”

Tenemos un gran respeto por los científicos que OpenAI ha solicitado que lideren este trabajo. Pero, como explicamos en nuestro último comunicado, la comprensión debe desarrollarse de manera abierta, dando a todos el mismo acceso. OpenAI ha dicho que retrasaron la publicación hasta que la formalización formal de Lean estuviera completa. Según sus propias palabras, ahora está completa, por lo que no hay razón científica para retrasar aún más la publicación.

Hassett dijo que hacer los hallazgos accesibles de manera abierta también podría llevar a una mejor ciencia y fomentar la adopción más amplia de nuevos instrumentos como la IA. “El hecho de que muchos grupos en todo el mundo se ocupen de estos resultados ayuda a que las personas que deseen utilizarlos adopten rápidamente los nuevos instrumentos”, afirmó.

“Los resultados fundamentales se resuelven tan rápidamente sin la contribución humana… los artículos son difíciles de leer y verificar”.

Encontrar una forma de comunicarse con los investigadores en los campos en los que OpenAI está invadiendo cada vez más, podría ser imposible satisfacer a todos. La compañía dice que está experimentando con diferentes enfoques y reconoce que cada uno tiene sus desventajas. “Mi sensación es que, para cualquier enfoque, habrá alguien que se sienta molesto”, dijo el matemático de Stanford Jared Duker Lichtman. “Así que se trata simplemente de encontrar la opción menos ofensiva”.

Xiaoyu He, profesor de matemáticas en el Instituto de Tecnología de Georgia, cree que el problema es más profundo de lo que OpenAI decide anunciar sobre sus hallazgos. “Los resultados son muy impresionantes”, dijo, “pero creo que se están esforzando en ser responsables y considerados al publicar los resultados, sin poder cambiar los problemas principales: que los resultados fundamentales se resuelven tan rápidamente sin la contribución humana, y que los artículos son difíciles de leer y verificar”.