Autor: Gao Yunyi
Edición: Cén Fēng
«Los modelos de lenguaje grandes clasifican a los gatos y los automóviles en la misma categoría, no es una tontería.» En el campo de la interpretabilidad de la IA, existe un caso clásico de diez años, que es La neurona numerada 4e:55 del modelo InceptionV1。Esta neurona se activa intensamente tanto al ver un «rostro de gato» como un «frente de automóvil». Esto significa queLa lógica subyacente de toda la red neuronal es inexplicable.。 Así que durante diez años enteros, todo el campo avanzó siguiendo la idea de «desarmar»: ya que la red es una caja negra hecha un ovillo, se inventan herramientas para desarmarla. La descomposición mediante autoencoders dispersos (SAE), los diccionarios de características, el desenredo de características… todo consiste primero en separar las características entrelazadas en unidades independientes que los humanos puedan entender, y solo después comprenderlas. Justo ayer,El científico de investigación de interpretabilidad mecanicista de los primeros tiempos de OpenAI, y también coautor de «Zoom In», el trabajo que en su momento elevó este caso a clásico, Nick Cammarata, personalmente refutó la conclusión que él mismo había formulado entonces.«Esta neurona no conoce para nada a los gatos, ni tampoco a los coches. Lo que detecta son las formas geométricas en V; ya sea el rostro afilado de un zorro o las llamas de un chorro de fuego, todo activa su polo positivo, mientras que su polo negativo responde a las cosas redondas».Él afirma directamente que la raíz de este error de juicio quizá fue que las herramientas de observación de aquella época eran demasiado rudimentarias.En 2023, él trabajó en OpenAI en el primer proyecto de interpretación automatizada de neuronas a gran escala, y con las herramientas existentes solo lograba explicar aproximadamente el 2% de las neuronas. Resulta que tres años después, cuando volvió a investigar con algoritmos más avanzados y un equipo de Agentes, descubrió que la situación era completamente diferente. En los modelos visuales modernos que probaron, el 99%～100% de las neuronas de la última capa podían recibir explicaciones bastante claras. Incluso el propio InceptionV1, famoso en su día por ser "profundamente caótico", al ser reexaminado con las nuevas herramientas, mostró una tasa de explicabilidad considerablemente mayor. Por ello, Nick Cammarata publicó un artículo extenso que requiere 65 minutos de lectura«Las redes neuronales ya están limpias», y planteó una asombrosa afirmación:Las redes neuronales en sí mismas son mucho más "limpias" de lo que imaginamos. Aquí, "limpio" no significa que "una neurona solo haga una cosa", sino que la red posee una estructura interna sumamente coherente, refinada y completamente legible de forma directa por los humanos. Es como un mapa ordenado: si quieres ver los detalles, basta con "hacer doble clic para ampliar"。Ante esto, el investigador principal de OpenAI, roon, lo retuiteó directamente y exclamó que este es"un momento importante en la historia de la ciencia", "por fin podemos convertir la alineación de la IA en una 'ciencia normal'".Después de todo, si este artículo se sostiene, equivale a derribar la ansiedad central de una década de investigación en interpretabilidad. El gran esfuerzo que el mundo de la IA dedicó en los últimos años a la descomposición mediante autoencoders dispersos (SAE), diccionarios de características y desenredado de características podría haber sido un camino equivocado.Quizás el campo de la interpretabilidad también pueda resolverse con "The Bitter Lesson", es decir, lo simple es eficiente.
01
El nacimiento y la inversión de un consenso de diez años
¿Por qué la gente creía que el "cerebro de la IA" era un enredo? Todo comienza con el modelo de visión InceptionV1 de 2014. Como "organismo modelo" de los primeros días de la investigación en interpretabilidad, los investigadores descubrieron que las neuronas de las capas superficiales del modelo eran bastante claras, pero cuanto más profundas las capas, más parecían un enredo. En aquel entonces se estimaba que, de las neuronas de la última capa comprensibles para los humanos, la academia consideraba que solo había un 5%. La más famosa era la neurona 4e:55, que hacía que dos cosas totalmente inconexas compartieran una misma neurona, lo cual, a todas luces, contradecía la expectativa ingenua de "una neurona para un concepto". Para explicar este fenómeno, la academia propuso una teoría centralla "hipótesis de la superposición" (Superposition). Según ellos, cuando el número de neuronas no es suficiente, la IA cambia secretamente de estrategia de aprendizaje y "pliega" conceptos no relacionados dentro de la misma neurona. Como rara vez se activan al mismo tiempo, no se interfieren entre sí.En 2020, Cammarata y Chris Olah presentaron en el artículo histórico "Zoom In" una evidencia aún más concreta: la red escondía las señales características de los automóviles dentro de un grupo de "neuronas de perros", lo cual confirmó aún más el fenómeno de la superposición. Dado que las redes neuronales están enredadas, había que inventar herramientas para "desarmarlas" a la fuerza. Desde siempre, laboratorios de élite como Anthropic y OpenAI han utilizado los autoencoders dispersos (SAE) como solución predominante; la idea es entrenar un modelo auxiliar que extraiga a la fuerza las múltiples características comprimidas en las neuronas, las reclasifique y les ponga etiquetas legibles para los humanos. Pero Nick Cammarata descubrió que cada vez que se actualizaban las herramientas de observación, las neuronas aparentemente caóticas se volvían automáticamente un poco más claras. No pudo evitar sospechar quequizás el problema no está en la red neuronal, sino en las herramientas con las que observamos la red.Desde los patrones psicodélicos sintetizados de cuando nació la técnica de visualización de características en 2009, pasando por las imágenes de visualización de neuronas relativamente claras tras introducir la robustez a transformaciones, hasta el día de hoy, cuando el equipo de Nick Cammarata mediante el ajuste fino de parámetros, guía al algoritmo para observar a lo largo de las "trayectorias de activación de imágenes reales" y descubre que más del 99% de las neuronas de la última capa en las arquitecturas modernas (como ConvNeXt) se vuelven claras y legibles. Resulta que durante estos diez años, todos hemos estado peleando con el error de las herramientas.02
La "rehabilitación" de dos casos clásicos
Tras la actualización de la herramienta, los dos casos clásicos de "polisemia" en el campo de la interpretabilidad dieron un giro inesperado. La lógica central de este giro esusar mecanismos dinámicos y características geométricas razonables para derribar la antigua clasificación nominal estática y literal.▎Caso uno: el caso de la "neurona de gatos y coches"
La visualización de características del pasado consistía esencialmente en usar el algoritmo de descenso de gradiente para sintetizar una imagen que activara al máximo la neurona. Pero, para perseguir el valor de activación más alto, el algoritmo "toma atajos", generando el problema de"reward hacking" (engaño de la recompensa). Dado que en el conjunto de entrenamiento de ImageNet hay muchísimas imágenes de gatos y perros con características muy fuertes, en las imágenes de máxima activación sintetizadas por el algoritmo se mezclan residuos semánticos como los bigotes de gato o el pelaje de perro. Si los investigadores interpretan a partir de estas características accesorias, naturalmente creerán erróneamente que se trata de una "neurona de animales". Por ello, el equipo de Nick Cammarata utilizó dos métodos más rigurosos para reobservar. Primero, la guía por la ruta de activación: ajustar finamente los parámetros de regularización para forzar al algoritmo a sintetizar las características siguiendo la ruta natural de activación de imágenes reales, eliminando así el ruido de interferencia generado por el propio algoritmo. Segundo, la verificación cruzada de polos positivo y negativo: no solo estudiar "qué activa más fuertemente la neurona" (polo positivo), sino también "qué la inhibe más fuertemente" (polo negativo), anclando mediante ambos extremos la función real de la neurona. El resultado fue que la red neuronal, en realidad, clasifica según la geometría. En el caso de la "neurona de gato y coche", lo que detecta es la forma geométrica en V. Cualquier contorno en V activa su polo positivo, como el hocico puntiagudo de un zorro, las llamas de un incendio, el morro puntiagudo de un coche o el chorro de agua en V que lanza un barco de bomberos. A la inversa, todos los contornos circulares activan su polo negativo, como caras redondas, pelotas o ruedas circulares.▎Caso dos: el caso de la "neurona de coches y perros"
El otro caso de "coches y perros" obedece al mismo principio. En los datos de entrenamiento de InceptionV1 hay muchas más imágenes de perros que de coches, y las neuronas relacionadas con perros son también más densas, por lo que el proceso de optimización cae en la "cuenca de las imágenes de perros" y no logra salir, sintetizando al final "imágenes de máxima activación" llenas de perros. Para esclarecer la verdad, el equipo de Nick Cammarata introdujo esta vez herramientas automatizadas de Agent, realizando sobre este circuito un experimento dinámico de seguimiento de gradientes y ablación (corte de conexiones con variables controladas). Combinando el método de disociación por ejes de generalización para descomponerlo, descubrieron que, en realidad, este grupo de neuronas no era unas "neuronas de perros", sino neuronas que detectan "si el objeto está de frente hacia la cámara y es simétrico a ambos lados". Tras etiquetar la señal característica del coche como "de frente", esta sigue fluyendo hacia capas más profundas aguas abajo, y finalmente se ramifica hacia el verdadero "circuito de clasificación de coches" y el "circuito de clasificación de perros".La raíz de la mala interpretación polisémica anterior está, en realidad, en el sesgo del conjunto de datos. En esencia, las características se generalizan y ramifican de forma natural y continua a lo largo de las señales.03
¿La verdad de las neuronas es la generalización recursiva?
Ya que las redes neuronales no se apilan al azar, ¿de dónde viene el fenómeno de la "polisemia"? Nick Cammarata ofrece una nueva explicación:la generalización recursiva.Él sostiene quelas neuronas crecen como las ramas de un árbol.Una neurona quizá solo reconozca al principio flores de colza. A lo largo del eje característico del "color amarillo", se expande poco a poco hasta reconocer todos los objetos amarillos; a lo largo del eje de la "forma circular", se extiende a todo tipo de objetos esféricos; y siguiendo la ruta asociativa de "criaturas en los campos de flores", llega a cubrir a los perros en los campos de flores, extendiéndose finalmente al brócoli verde. Si un humano solo ve que esta neurona responde a la vez a las flores de colza y al brócoli, es fácil que crea que la lógica del modelo es caótica. Pero basta con rastrear su trayectoria completa de crecimiento para descubrir que cada bifurcación y cada extensión de característica posee una lógica coherente. En los modelos de lenguaje, la generalización recursiva es aún más exagerada. Por ejemplo, una neurona que originalmente solo detectaba el sonido "iy" se extendió durante el entrenamiento hasta reconocer la palabra "diy", y al final, incluso la frase "Do it yourself", que no contiene ningún sonido "iy", la activa.La llamada lógica incomprensible para los humanos es, en realidad, la red neuronal realizando extensiones semánticas con su propia lógica de alta dimensión.En este punto, la escuela tradicional seguramente replicará: si de verdad faltan neuronas, ¿no cambiaría la red neuronal al modo de superposición? Por eso, Nick Cammarata diseñó un experimento de estrés extremo. Se fijó en la capa 3b de InceptionV1. Esta capa no tiene flujo residual, por lo que las señales no pueden tomar atajos. Nick Cammarata comprimió directamente de 480 a 10 las neuronas de esta capa dedicadas originalmente a detectar curvas, lo que equivale a una compresión de 48 veces, y volvió a entrenar desde cero. Según la hipótesis de superposición, cuando el espacio es gravemente insuficiente, la red neuronal seguramente amontonaría todo tipo de características irrelevantes en estas 10 neuronas. El resultado fue completamente opuesto. Estas 10 neuronas resultaron claras e interpretables una por una; simplemente, cada una se encargaba de un ámbito más amplio: una neurona de "curvas y anillos" fusionó activamente los 10 detectores de curvas finas de diferentes ángulos que había antes; dos neuronas de "círculos" asumieron las originalmente complejas clasificaciones de múltiples tipos de círculos. Además obtuvo un hallazgo revolucionario: las características extraídas mediante el "desenredo" con SAE no solo no quedaron más limpias, sino que su amplitud de respuesta resultó varias veces más gruesa que la de las neuronas originales.Esto significa que esas "características de superposición desenredadas de la caja negra de la red" que en los últimos años hicieron celebrar a incontables científicos... probablemente, no sean en absoluto más que un artefacto matemático creado por la propia herramienta SAE.04
Los internautas cuestionan que no haya nada nuevo
Tras la publicación del largo artículo, el Twitter de Nick Cammarata se convirtió en una gran zona de preguntas para los internautas. Alguien preguntó si estos métodos seguirían siendo válidos cuando en el futuro surgieran arquitecturas que no fueran Transformer. Nick Cammarata no solo respondió afirmativamente, sino que añadió quecuanto mejor es el rendimiento de un modelo, más fácil resulta en realidad interpretarlo internamente.Las redes neuronales convolucionales de la vieja escuela, las redes convolucionales modernas y los modelos Transformer contemporáneos, tres arquitecturas subyacentes completamente distintas, ya han demostrado la universalidad de esta teoría. Mike Knoop, cofundador de Zapier, preguntó en línea si se podría convertir directamente la "limpieza" de una red neuronal en una métrica formal de evaluación del sector. Nick Cammarata respondió que no sería difícil. En el pasado, los humanos subestimaron demasiado la investigabilidad de los circuitos nativos; de hecho, métodos como controlar activaciones, realizar ablaciones cortando conexiones o sondear puntos ciegos permiten directamente "puntuar" el orden subyacente de una red neuronal.Sin embargo, Neel Nanda, uno de los fundadores de la teoría de la superposición y responsable del equipo de interpretabilidad mecánica de Google DeepMind, vertió un cubo de agua fría. Afirmó directamente: "Aunque este artículo es interesante, no aporta ningún avance sustancial para la interpretabilidad".Neel señaló con precisión que las dos partes no estaban discutiendo en absoluto la misma "superposición". La palabra "superposición" tiene al menos cinco o seis definiciones en el campo; las dos más centrales son: una es"superposición arbitraria", es decir, la red mete características sin ninguna relación dentro de una misma neurona, que es la versión que Cammarata refuta. La otra es la que él defiende: "superposición de representación": los grandes modelos de lenguaje pueden retener mucho más conocimiento que el número de neuronas porque utilizan muy pocas neuronas, mediante combinaciones lineales, para expresar una cantidad enorme de conceptos. Los blancos de ambos no coincidían en absoluto. Sobre esta base, Neel planteó objeciones técnicas concretas desde tres dimensiones.En primer lugar, el problema de la definición de la "activación débil".Nick considera que las activaciones débiles son en su mayoría ramas secundarias de la extensión semántica, y que cortarlas no causa ningún daño. Pero Neel señala que en las activaciones neuronales débiles se almacena una enorme cantidad de combinaciones de hechos y recuerdos, y que son precisamente el vehículo central de la superposición. Al mismo tiempo, Neel subraya quelas pruebas más sólidas del artículo provienen todas de modelos visuales, pero lo visual y lo lingüístico son esencialmente diferentes.Los modelos de lenguaje son portadores de una enorme cantidad de hechos, recuerdos y conocimientos, con una densidad de información varios órdenes de magnitud superior. Los pequeños modelos de imágenes, por sí mismos, tienen poca capacidad de memoria, por lo que no pueden demostrar que tampoco haya superposición en los grandes modelos de lenguaje.Por último, la reivindicación de los SAE (autoencoders dispersos).Neel aclara que los SAE siguen siendo herramientas insustituibles sobre el flujo residual, pues reflejan con agudeza el cuello de botella de información de cada capa del modelo. No se trata de quién sustituye a quién: ambos tienen sus escenarios de aplicación.Frente a estas objeciones, Cammarata también está de acuerdo. Reconoce que su artículo es solo una "hipótesis de trabajo", y que quedan varios problemas clave sin resolver:La interpretabilidad no se ha "saturado" con el aumento del tamaño de los modelos: el interior de los modelos gigantes sigue siendo muy limpio. Los demás desafíos de ingeniería que trae consigo esta escala súper grande están, hasta ahora, lejos de estar completamente resueltos. En cuanto al alcance, la investigación solo abarca modelos unimodales de visión y de lenguaje; los modelos multimodales que fusionan visión y lenguaje, y en especial la organización en circuitos de las capas de fusión, quedan completamente sin cubrir y probablemente sigan reglas totalmente distintas a las unimodales. En cuanto al mecanismo central, la generalización recursiva solo fue rastreada de principio a fin durante todo el proceso de entrenamiento en modelos de imágenes; los modelos de lenguaje carecen de datos de puntos de control del proceso de entrenamiento, por lo que no es posible observar directamente cómo las neuronas se van generalizando paso a paso, y solo se pueden inferir las reglas a partir de la forma final. En cuanto al posicionamiento de las herramientas, él nunca negó de manera absoluta los SAE: los experimentos solo demostraron que en las capas extremadamente comprimidas, los SAE no logran descomponer características nativas limpias; pero en las capas originales normales sin comprimir, la coincidencia de forma entre SAE y neuronas nativas alcanza 0.96-1.00, por lo que siguen siendo herramientas eficientes. En cuanto a las limitaciones metodológicas, las conclusiones actuales dependen en gran medida de los experimentos de dirección por activación y de los mapas de atribución, que en esencia siguen la idea de "perturbar y observar el efecto"; la validación causal estricta en estado puramente natural, sin perturbar activamente el sistema, sigue siendo un problema abierto. Aunque esto sea solo una hipótesis de trabajo, ya está obligando a los profesionales de cuatro direcciones a recalibrar su rumbo técnico:- los equipos de interpretabilidad: dejen de obsesionarse con usar SAE para hacer cirugías de desenredo de las redes. Miren directamente los circuitos y neuronas nativas y realicen observaciones rápidas y rutinarias.
- los equipos de seguridad y alineamiento: es sin duda una gran noticia. Si las redes nativas son legibles por naturaleza, significa que el umbral para alinear la superinteligencia es más bajo de lo que se imaginaba; aunque el alineamiento seguirá siendo difícil, al menos el "umbral para entender la IA" se ha desplomado.
- los equipos de diseño de arquitecturas: mejoras como el flujo residual y LayerNorm, creadas para que los modelos "aprendieran mejor", han hecho inesperadamente que las redes sean más legibles. La búsqueda de arquitecturas futuras puede perfectamente incorporar sin complejos la "interpretabilidad" entre sus métricas, ¡porque es totalmente compatible con el rendimiento!
- los equipos de ingeniería de la capa de aplicación: en el futuro, regular el comportamiento de la IA ya no requerirá reajustar el modelo. Mediante la ingeniería de intervención conductual, "ajustar una neurona y cambiar directamente el comportamiento del modelo en escenarios legales o médicos específicos" pasará de ser un concepto de artículo académico a ¡una función de producto en la línea de producción!
Súbete a bordo: Leiphone (cuenta pública de WeChat: Leiphone) te lleva lo mejor de las grandes cumbres mundiales de IA
Acceso exclusivo a:
Presentaciones PPT de expertos
Texto completo de los informes de los congresos
Interpretación de artículos populares
Entrevistas a nuevas estrellas académicas
Escanea el código QR de arriba
o haz clic en «Leer el original» para seguir la sección especial.
Artículos originales de Leifeng Wang; queda prohibida su reproducción sin autorización. Para más detalles, consulta lasNormas de reproducción。