Puntos clave
- El ex investigador de Deepmind, Thore Graepel, fundó Metis Reasoning para hacer que los sistemas de IA sean más fiables y verificables, utilizando el enfoque de AlphaGo como modelo.
- El método separa el conocimiento de los pesos del modelo y lo almacena en un registro externo, donde un módulo independiente verifica cada suposición contra evidencia.
- El enfoque tiene como objetivo eliminar las alucinaciones y ofrecer explicaciones respaldadas por fuentes, pero hasta ahora existe únicamente como un marco teórico sin un sistema funcional.
El ex investigador de Deepmind, Thore Graepel, quiere desarrollar sistemas de IA que identifiquen lo que saben y verifiquen cada conclusión contra evidencia. Según su equipo, los modelos lingüísticos más grandes no resolverán este problema.
Thore Graepel cree que la misma idea que permitió que AlphaGo venciera al profesional de Go Lee Sedol en 2016 puede hacer que los sistemas de IA sean más confiables, incluyendo en los robots. El ex investigador de Deepmind fundó Metis Reasoning y expuso este enfoque en la conferencia GTC de Nvidia en Berlín, donde la empresa fabricante de chips ha estado expandiendo su plataforma para robótica y inteligencia artificial física con el objetivo de convertir el problema de datos de la robótica en un problema de computación.
Un registro de conocimiento en lugar de conocimiento integrado en los pesos del modelo
Los modelos de lenguaje de hoy se reducen a la red de predicción de AlphaGo, que sugería posibles movimientos, según Metis. AlphaGo combinó esa red con una búsqueda sistemática de secuencias de juego y descubrió el famoso Movimiento 37, un movimiento que la red habría dado a un jugador humano una probabilidad de aproximadamente uno en diez mil para hacerlo. Metis quiere aplicar ese tipo de búsqueda al razonamiento general.
Al hacerlo, se necesita lo que la revista de la empresa llama un registro explícito de conocimiento, comparable a un tablero de juego. Ya existen ideas similares: GraphRAG de Microsoft organiza el conocimiento fuera de los pesos del modelo en un grafo de conocimiento, y AlphaGeometry2 de Google combina un modelo lingüístico con un motor simbólico que verifica pruebas matemáticas. Metis quiere extender esos principios a las preguntas abiertas en el mundo real.
Su registro de conocimientos muestra lo que se sabe, cuán seguro es el sistema y qué preguntas permanecen sin respuesta. Un módulo separado verifica las nuevas entradas en comparación con cálculos, pruebas formales o evidencia empírica, y cuando una suposición se desvanece, toda conclusión que dependiera de ella se reevalúa. Un “movimiento” puede ser una pregunta, un experimento o un desafío a una suposición existente; el sistema selecciona aquel que reduce la incertidumbre sobre la pregunta original más, y en última instancia, entrega ya sea una respuesta o una abstención justificada.
Como en AlphaGo, dos redes neuronales sugieren y evalúan movimientos, entrenadas sobre investigaciones previas registradas, pero incapaces de superar las reglas de verificación. Metis afirma que esta configuración debería producir menos alucinaciones, explicaciones con citas de fuentes y conocimiento que puede cambiarse o eliminarse sin reentrenamiento. Dado que el razonamiento se divide en pasos pequeños, este enfoque también podría favorecer modelos más pequeños que funcionen en dispositivos de borde y en robots.
Las empresas todavía no confían lo suficiente en los modelos de lenguaje para implementarlos
Más datos y cálculos mejoran los modelos de lenguaje, pero no resuelven los problemas fundamentales de la tecnología, según Metis: los modelos generan respuestas, sus cadenas de razonamiento no pueden ser verificadas y su conocimiento está encerrado dentro de los pesos. Las alucinaciones provienen del propio proceso de entrenamiento, argumenta el artículo, porque los modelos aprenden a producir texto plausible en lugar de texto verdadero, e incluso las cadenas de pensamiento en los modelos de razonamiento actuales a menudo no muestran cómo se llegó realmente a la respuesta.
Eso es lo que dice el artículo: por eso la IA ha tenido tan poco impacto económico hasta ahora. Cuando un agente actúa en nombre de una empresa, es difícil rastrear los errores a su origen y no se puede eliminar el conocimiento incorrecto del modelo. La IA comenzó a utilizarse en ingeniería de software porque el código es fácil de probar y revertir, pero en medicina, finanzas, diseño de chips y robótica, el artículo argumenta que la IA debe ser verificable desde sus fundamentos.
El informe blanco describe únicamente un programa de investigación, sin ningún sistema funcional, sin puntos de referencia ni comparaciones con los modelos de razonamiento actuales. El equipo reconoce que el mundo real, a diferencia de Go, proporciona solo información parcial, que las pruebas pueden ser costosas de obtener y que algunas preguntas simplemente no tienen respuesta. La pregunta abierta más importante es cómo se formaría un registro de conocimiento verificado en dominios complicados que van más allá de los ejemplos de los libros de texto, teniendo en cuenta que los sistemas de IA simbólica fallaron una vez precisamente porque todo su conocimiento tenía que ser ingresado manualmente.
Después de Silver y Rocktäschel, otro veterano de Deepmind falla por sí mismo
Según su sitio web, Graepel obtuvo su doctorado en aprendizaje automático en Berlín en 2001. En Microsoft Research, ayudó a desarrollar TrueSkill, el sistema de emparejamiento que está detrás de Xbox Live. Luego se trasladó a Deepmind, donde trabajó en AlphaGo, AlphaZero y MuZero. Después de un período en Altos Labs, recientemente formó parte del equipo de Deepmind dedicado al post-AGI, del cual se retiró durante el verano. También ocupa la cátedra de aprendizaje automático en University College London. Según Bloomberg, Graepel está recaudando una inversión de decenas de millones de dólares para Metis, con un financiamiento adicional de varios cientos de millones de dólares con una valoración más alta ya en curso.
Es el último arquitecto de los avances más conocidos de Deepmind para crear algo aparte de Google. El ex colega David Silver fundó Ineffable Intelligence y cerró la mayor ronda de inversión de cualquier startup europea. Tim Rocktäschel cofundó Recursive, ahora valorado en $4.65 mil millones. Otros se dirigen directamente a competidores. Según el Financial Times, Deepmind disolvió al equipo de AlphaFold, y el ganador del Premio Nobel, John Jumper, se fue a Anthropic con dos colegas. CNBC investiga el agotamiento de talento en parte por la limitada acceso interno a los chips TPU de Google y la burocracia, mientras que Deepmind en sí perde su independencia y el fundador Demis Hassabis se ha retirado de las operaciones diarias.
Fuente: Metis Reasoning