Auteur丨Gao Yunyi
Édition丨Cen Feng
« Ce n'est pas de la débilité si un grand modèle classe les chats avec les voitures. » Dans le domaine de l'explicabilité de l'IA, il existe un cas classique vieux de dix ans : le neurone portant le numéro 4e:55 dans le modèle InceptionV1. Ce neurone s'active fortement devant un « visage de chat » comme devant l'avant d'une voiture. Cela signifie quela logique sous-jacente de tout le réseau neuronal est inexpllicable. Pendant dix ans, tout le domaine a donc avancé selon l'idée de « démonter » : puisque le réseau est une boîte noire inextricable, inventons des outils pour le démonter. Décomposition par autoencodeurs parcimonieux (SAE), dictionnaires de caractéristiques, démêlage de caractéristiques… Tout consistait à séparer d'abord les caractéristiques intriquées en unités indépendantes et compréhensibles par l'humain, avant de les comprendre. Hier,Nick Cammarata, scientifique des premières recherches d'OpenAI en explicabilité mécaniste et coauteur du fameux article « Zoom In » qui avait hisse ce cas au rang de classique, a lui-même renversé la conclusion qu'il avait alors formulée.« Ce neurone ne connaît ni le chat, ni la voiture. Il détecte des formes géométriques en V : que ce soit le museau pointu d'un renard ou une flamme jaillissante, son pôle positif s'active ; et son pôle négatif, ce sont les formes rondes. »Il affirme que la cause profonde de cette erreur réside peut-être dans la trop grande primitivité des outils d'observation de l'époque.En 2023, il a dirigé chez OpenAI le premier projet à grande échelle d'explication automatisée des neurones : avec les outils existants, seuls environ 2 % des neurones pouvaient être expliqués. Or trois ans plus tard, lorsqu'il a repris ses recherches avec des algorithmes plus avancés et une équipe d'agents, il a découvert une situation complètement différente. Dans les modèles visuels modernes qu'ils ont testés, 99 % à 100 % des neurones de la dernière couche peuvent recevoir des explications assez claires. Même InceptionV1, célèbre pour sa « profondeur confuse », voit son taux d'explicabilité fortement augmenter lorsqu'on l'observe à nouveau avec les nouveaux outils. C'est pourquoi Nick Cammarata a publié un long article nécessitant 65 minutes de lecture« Neural Networks Are Already Clean », et avancé une affirmation stupéfiante :les réseaux neuronaux sont, en eux-mêmes, bien plus « propres » qu'on ne l'imagine. Ici, « propre » ne signifie pas « un neurone ne fait qu'une seule chose », mais que le réseau possède en interne une organisation extrêmement cohérente, raffinée et parfaitement lisible directement par l'humain. C'est comme une carte bien ordonnée : pour voir les détails, il suffit de « double-cliquer pour zoomer »。Face à cela, roon, chercheur clé d'OpenAI, a directement repartagé l'article en s'exclamant que c'était« un moment majeur de l'histoire de la science » : « nous pouvons enfin faire de l'alignement de l'IA une science normale ».Car si cet article s'avère fondé, cela revient à renverser l'angoisse centrale de dix années de recherche en explicabilité. Les décompositions par autoencodeurs parcimonieux (SAE), les dictionnaires de caractéristiques et le démêlage de caractéristiques sur lesquels le milieu de l'IA a tant travaillé ces dernières années se seraient peut-être tous fourvoyés.Peut-être que le domaine de l'explicabilité aussi peut être résolu par « The Bitter Lesson », à savoir : la simplicité est efficace.
01
Naissance et renversement d'un consensus vieux de dix ans
Pourquoi les gens pensent-ils que le « cerveau de l'IA » est un fouillis inextricable ? Tout commence avec le modèle visuel InceptionV1 de 2014. En tant que « modèle organisme » des premières recherches en explicabilité, les chercheurs ont découvert que les neurones de surface du modèle restaient assez clairs, mais plus on descendait dans les couches profondes, plus cela ressemblait à un fouillis inextricable. À l'époque, la communauté scientifique estimait que seuls 5 % environ des neurones de la dernière couche pouvaient être compris par l'humain. Le plus célèbre d'entre eux est le neurone 4e:55, qui fait partager un même neurone à deux choses sans aucun rapport, ce qui contrevient manifestement à l'attente naïve « un neurone correspond à un concept ». Pour expliquer ce phénomène, le milieu académique a proposé une théorie centrale« l'hypothèse de superposition » (Superposition). Selon elle, lorsque le nombre de neurones est insuffisant, l'IA change secrètement de stratégie d'apprentissage et « replie » des concepts sans rapport les uns avec les autres dans un même neurone. Comme ils s'activent rarement en même temps, ils ne se gênent pas mutuellement.En 2020, Cammarata et Chris Olah ont apporté, dans l'article historique « Zoom In », des preuves encore plus concrètes : le réseau cachait en fait les signaux de caractéristiques des voitures dans un groupe de « neurones de chiens », ce qui a encore confirmé le phénomène de superposition. Puisque les réseaux neuronaux sont intriqués, il fallait inventer des outils pour les « démonter » de force. Depuis toujours, les laboratoires de pointe comme Anthropic et OpenAI ont fait des autoencodeurs parcimonieux (SAE) la solution dominante : l'idée consiste à entraîner un modèle auxiliaire qui extrait de force les multiples caractéristiques entassées dans les neurones, les reclasse et leur colle des étiquettes lisibles par l'humain. Mais Nick Cammarata a constaté qu'à chaque mise à niveau des outils d'observation, les neurones apparemment confus devenaient automatiquement un peu plus clairs. Il n'a pu s'empêcher de douter quele problème ne réside peut-être pas du tout dans les réseaux neuronaux, mais dans les outils dont nous nous servons pour observer ces réseaux.Des motifs psychédéliques synthétisés de la naissance de la visualisation de caractéristiques en 2009, aux images de visualisation de neurones relativement claires permises par l'introduction de la robustesse aux transformations, jusqu'à présent, où l'équipe de Nick Cammarata, en ajustant finement les paramètres, guide l'algorithme pour observer le long des « chemins d'activation d'images réelles », et découvre que plus de 99 % des neurones de la dernière couche des architectures modernes (comme ConvNeXt) deviennent clairement lisibles. Il apparaît que, pendant ces dix années, tout le monde s'est battu contre les erreurs de ses outils.02
Les « réhabilitations » de deux cas classiques
Après la mise à niveau des outils, les deux cas classiques de « polysémie » dans le domaine de l'interprétabilité ont tous deux connu un retournement. La logique centrale de ce retournement est :d'utiliser des mécanismes dynamiques et des caractéristiques géométriques raisonnables pour renverser la classification statique et littérale des noms du passé.▎Cas n°1 : le cas des « neurones chat et voiture »
Dans le passé, la visualisation de caractéristiques consistait essentiellement à synthétiser, par descente de gradient, une image activant le plus un neurone. Mais pour atteindre la valeur d'activation la plus élevée, l'algorithme « prend des raccourcis », produisant un problème de« détournement de récompense » (reward hacking). Comme l'ensemble d'entraînement ImageNet contient un très grand nombre d'images de chiens et de chats aux caractéristiques très marquées, l'image d'activation maximale synthétisée par l'algorithme se retrouve polluée de résidus sémantiques tels que des moustaches de chat ou du poil de chien. En interprétant ces caractéristiques accessoires, les chercheurs croient naturellement qu'il s'agit d'un « neurone animal ». Pour cette raison, l'équipe de Nick Cammarata a utilisé deux méthodes plus rigoureuses pour réobserver. Premièrement, le guidage par chemin d'activation : affiner finement les paramètres de régularisation pour contraindre l'algorithme à synthétiser les caractéristiques en suivant le chemin d'activation naturel des images réelles, éliminant ainsi le bruit parasite produit par l'algorithme lui-même. Deuxièmement, la validation croisée par pôles positif et négatif : ne pas étudier seulement « ce qui active le plus fortement le neurone » (pôle positif), mais aussi « ce qui inhibe le plus fortement le neurone » (pôle négatif), en ancrant la fonction réelle du neurone par les deux extrémités. Résultat : le réseau de neurones classait en réalité selon la géométrie. Dans le cas du « neurone chat-voiture », il détectait des formes géométriques en V. Tout contour en V déclenche son pôle positif, comme le museau pointu d'un renard, les flammes d'un jet, la proue d'une voiture ou le jet d'eau en V d'un bateau-pompe. Inversement, tous les contours circulaires déclenchent son pôle négatif, comme un visage rond, une balle ou des roues circulaires.▎Cas n°2 : le cas des « neurones voiture et chien »
L'autre cas « voiture et chien » relève du même principe. Dans les données d'entraînement d'InceptionV1, les images de chiens sont bien plus nombreuses que celles de voitures, et les neurones liés aux chiens sont plus denses ; le processus d'optimisation tombe dans le « bassin des images de chiens » et n'en sort plus, si bien que l'« image d'activation maximale » finalement synthétisée ne montre que des chiens. Pour découvrir la vérité, l'équipe de Nick Cammarata a cette fois introduit un outil Agent automatisé, réalisant sur ce circuit une expérience dynamique de suivi de gradient et d'ablation (coupe de connexions à variables contrôlées). En combinant la méthode de dissociation par axes de généralisation, ils ont découvert que ces neurones n'étaient en réalité pas des « neurones chien », mais des neurones détectant « si un objet fait face directement à la caméra de face et présente une symétrie bilatérale ». Une fois le signal caractéristique des voitures étiqueté « face avant », il continue de circuler vers les couches plus profondes en aval, et finit par se diviser dans le véritable « circuit de classification des voitures » et le « circuit de classification des chiens ».La racine de ces erreurs de lecture polysémique réside en fait dans le biais du jeu de données. Essentiellement, les caractéristiques se généralisent et se répartissent naturellement de manière continue le long des signaux.03
La vérité des neurones est-elle la généralisation récursive ?
Puisque les réseaux de neurones ne s'empilent pas au hasard, d'où vient le phénomène de « polysémie » ? Nick Cammarata propose une nouvelle explication :la généralisation récursive.Selon lui,les neurones croissent comme des branches d'arbre.Un neurone pourrait au départ ne reconnaître que le colza. Le long de l'axe caractéristique « jaune », il s'étend progressivement à tous les objets jaunes ; le long de l'axe « forme ronde », il s'étend à divers objets sphériques ; puis, en suivant le chemin associatif « créatures dans les champs de fleurs », il en vient à couvrir les chiens dans les champs de fleurs, et s'étend enfin au brocoli vert. Si un humain ne voit que ce neurone réagir à la fois au colza et au brocoli, il croit facilement que la logique du modèle est confuse. Mais en retraçant son chemin de croissance complet, on découvre que chaque embranchement, chaque extension de caractéristique, possède une logique cohérente. Dans les modèles de langage, la généralisation récursive est encore plus marquée. Par exemple, un neurone détectant à l'origine seulement la prononciation « iy » s'est d'abord étendu à la reconnaissance du mot « diy », et à la fin, même l'expression « Do it yourself », qui ne contient aucun son « iy », parvient à l'activer.La logique prétendument incompréhensible pour l'humain est en réalité le réseau de neurones effectuant des extensions sémantiques avec sa logique en haute dimension.À ce stade, l'école traditionnelle répliquera sûrement : si les neurones manquent réellement, le réseau de neurones ne passerait-il pas en mode superposition ? Pour trancher, Nick Cammarata a conçu une expérience de stress extrême. Il a ciblé la couche 3b d'InceptionV1. Cette couche n'a pas de flux résiduel : les signaux ne peuvent pas circuler par un chemin détourné. Nick Cammarata a comprimé directement de 480 à 10 les neurones de cette couche initialement dédiés à la détection de courbes, soit une compression de 48 fois, puis a réentraîné à partir de zéro. Selon l'hypothèse de superposition, face à un manque d'espace sévère, le réseau de neurones devrait entasser toutes sortes de caractéristiques sans rapport dans ces 10 neurones. Le résultat fut totalement inverse. Ces 10 neurones étaient tous clairement interprétables ; chacun couvrait simplement un périmètre plus large : un neurone « courbes et anneaux » a fusionné de lui-même les 10 détecteurs de courbes fines d'angles différents d'origine ; deux neurones « cercles » ont absorbé la complexe classification de multiples formes circulaires d'origine. Il a aussi obtenu une découverte bouleversante : les caractéristiques extraites par « démêlage » via SAE, loin d'être devenues plus propres, présentent une largeur de réponse plusieurs fois supérieure à celle des neurones originaux.Cela signifie que ces « caractéristiques de superposition démêlées de la boîte noire du réseau » qui ont fait chanter tant de scientifiques ces dernières années… sont probablement, en réalité, une illusion mathématique fabriquée par l'outil SAE lui-même.04
Les internautes doutent qu'il y ait du nouveau
Après la publication de l'article long, le Twitter de Nick Cammarata s'est transformé en une immense zone de questions pour les internautes. Quelqu'un a demandé : lorsque des architectures non-Transformer apparaîtront à l'avenir, cette méthode restera-t-elle applicable ? Nick Cammarata a non seulement répondu par l'affirmative, mais a aussi déclaré queplus un modèle est performant, plus son intériorité est en réalité facile à interpréter.Les anciens réseaux de neurones convolutifs, les nouveaux réseaux de neurones convolutifs et les modèles Transformer modernes — ces trois architectures sous-jacentes radicalement différentes ont déjà prouvé la généralité de cette théorie. Mike Knoop, cofondateur de Zapier, a demandé en ligne : pourrait-on directement faire de la « propreté » d'un réseau de neurones une métrique d'évaluation officielle du secteur ? Nick Cammarata a indiqué que ce n'était pas difficile. On a trop sous-estimé par le passé l'étudiable des circuits natifs ; en réalité, des méthodes comme le contrôle des activations, l'ablation de connexions et la détection des zones aveugles permettent toutes de « noter » directement l'ordre sous-jacent d'un réseau de neurones.Mais Neel Nanda, l'un des fondateurs essentiels de la théorie de la superposition et responsable de l'équipe d'interprétabilité mécanistique de Google DeepMind, a directement jeté un seau d'eau froide. Il a déclaré sans détour : « Cet article est intéressant, mais pour l'interprétabilité, il n'apporte aucune avancée substantielle ».Neel a mis le doigt sur le problème : les deux parties ne débattent pas du même concept de « superposition ». Le mot « superposition » possède au moins cinq ou six définitions dans le domaine, dont deux sont les plus essentielles : l'une est la« superposition arbitraire », c'est-à-dire que le réseau entasse des caractéristiques sans aucun rapport dans un même neurone — c'est la version que Cammarata renverse. L'autre est celle qu'il défend, la « superposition de représentation »: si les grands modèles de langage peuvent mémoriser bien plus de connaissances qu'il n'y a de neurones, c'est en utilisant très peu de neurones, combinés linéairement, pour exprimer une immense quantité de concepts. Les deux ne visaient donc pas la même cible. Sur cette base, Neel a formulé des critiques techniques concrètes selon trois dimensions.D'abord, la question de la localisation des « activations faibles ».Nick considère que les activations faibles sont pour la plupart des branches secondaires d'extension sémantique, que l'on peut couper sans dommage. Mais Neel souligne que les activations faibles des neurones contiennent une immense quantité de faits et de combinaisons mnésiques, et qu'elles sont précisément le support central de la superposition. Neel insiste également sur le fait queles preuves les plus solides de l'article proviennent toutes de modèles visuels, mais que la vision et le langage sont fondamentalement différents.Les modèles de langage sont des supports de faits, de souvenirs et de connaissances massifs, avec une densité d'information supérieure de plusieurs ordres de grandeur. Les petits modèles d'images ont elles-mêmes une faible capacité de mémorisation, ce qui ne prouve pas qu'il n'y a pas non plus de superposition dans les grands modèles de langage.Enfin, la réhabilitation des SAE (autoencodeurs épars).Neel précise que les SAE restent un outil irremplaçable sur le flux résiduel, car elles reflètent finement le goulot d'étranglement informationnel de chaque couche du modèle. Ce n'est pas une question de remplacement : chacun a ses scénarios d'application.Face à ces critiques, Cammarata est lui-même d'accord. Il admet que son article n'est qu'une « hypothèse de travail », et qu'il reste plusieurs questions clés non résolues :L'interprétabilité ne s'est pas « saturée » avec l'augmentation de la taille des modèles : l'intérieur des modèles géants reste très propre. Les autres défis d'ingénierie qu'apporte cette hyper-échelle sont encore très loin d'être entièrement résolus. En termes de couverture, l'étude ne porte que sur des modèles unimodaux de vision et de langage ; les modèles multimodaux fusionnant vision et langage, et surtout l'organisation des circuits des couches de fusion, ne sont pas du tout couverts et pourraient différer complètement des régularités unimodales. Sur les mécanismes fondamentaux, la généralisation récursive n'a été suivie sur l'intégralité du processus d'entraînement que dans des modèles d'images ; pour les modèles de langage, faute de données de points de contrôle du processus d'entraînement, on ne peut pas observer directement la généralisation progressive des neurones et on ne peut qu'inférer les régularités à rebours depuis l'état final. Sur le positionnement des outils, il n'a jamais totalement rejeté les SAE : les expériences prouvent seulement que sur des couches extrêmement compressées, les SAE ne parviennent pas à extraire des caractéristiques natives propres ; mais sur les couches originales normales non compressées, la correspondance de forme entre SAE et neurones natifs atteint 0.96-1.00 — elles restent donc un outil efficace. Sur les limites méthodologiques, les conclusions actuelles dépendent fortement des expériences de steering et des cartes d'attribution, dont la logique est essentiellement « perturber et observer l'effet » ; la vérification causale stricte sans perturbation active du système, dans un état purement naturel, reste une question ouverte. Même si ce n'est qu'une hypothèse de travail, elle force déjà les praticiens de quatre directions à recalibrer leur orientation technique :- Les équipes qui font de l'interprétabilité: cessez de vous obstiner à utiliser les SAE pour opérer un démêlage du réseau. Levez plutôt les yeux vers les neurones et circuits natifs, et pratiquez une observation régulière et rapide.
- Les équipes qui travaillent sur l'alignement de sécurité: c'est absolument une bonne nouvelle. Si les réseaux natifs sont naturellement lisibles, cela signifie que la barrière de l'alignement d'une superintelligence est plus basse qu'on ne l'imaginait — l'alignement reste difficile, mais au moins « la barrière pour comprendre l'IA » s'est effondrée.
- Les équipes de conception d'architectures: des améliorations comme le flux résiduel et la LayerNorm, conçues pour que le modèle « apprenne mieux », ont rendu par surprise le réseau plus lisible. La recherche d'architectures future peut tout à fait ajouter officiellement « l'interprétabilité » dans ses métriques, car elle est parfaitement compatible avec la performance !
- Les équipes d'ingénierie de la couche applicative: à l'avenir, réguler le comportement de l'IA n'exigera plus de refaire un fine-tuning. Grâce à l'ingénierie d'intervention comportementale, « ajuster un seul neurone suffit à changer le comportement du modèle dans des scénarios juridiques/médicaux spécifiques » passera directement du concept de laboratoire à une fonctionnalité produite sur les chaînes de fabrication !
Montez à bord, Leiphone (compte public : Leiphone) vous fait découvrir l'essentiel des grands sommets mondiaux de l'IA
Accès exclusif à :
Les slides des conférences des experts
Les textes intégraux des rapports des conférences
Décryptage des articles populaires
Entretien avec les nouvelles étoiles académiques
Scannez le QR code ci-dessus
ou cliquez sur « Lire l'article original » pour suivre la rubrique.
Article original de Leiphone, reproduction interdite sans autorisation. Voir détails dansConditions de republication。