Autor | Gao Yunyi
Bearbeitung | Cen Feng
„Große Modelle betrachten Katzen und Autos als eine Kategorie – das ist nicht dumm.“ Im Bereich der künstlichen Intelligenz-Interpretierbarkeit gibt es ein klassisches Fallbeispiel von zehn Jahren. Neuron mit Nummer 4e:55 im InceptionV1-ModellDieser Neuron wird, wenn er „Katzengesicht“ und „Auto-Kühne“ wahrnimmt, stark aktiviert. Das bedeutet,Die unterste Logik des gesamten neuronalen Netzwerks ist unerklärlichAlso zehn Jahre lang ging das gesamte Feld entlang des Konzepts der „Zerlegung“ vor: Da das Netzwerk eine verworrene schwarze Box ist, muss man Werkzeuge erfinden, um es aufzuschlagen. Dünner Autoencoder (SAE), Feature-Dictionary, Feature-Unpacking … Es geht darum, zuerst die verflochtenen Features in einzelne, für den Menschen verständliche Einheiten aufzuteilen, bevor man sie versteht. Gestern noch.Nick Cammarata, Wissenschaftler für die Erklärbarkeit der frühen Mechanismen von OpenAI und gemeinsamer Autor des Werks „Zoom In“, das diesen Fall zu einem Klassiker machte, hat seine damaligen Schlussfolgerungen selbst widerlegt.Dieser Neuron kennt weder Katze noch Auto. Er erkennt die V-Formen, egal ob es sich um das spitze Gesicht eines Fuchses oder Flammen handelt – das aktiviert seine positive Pole; die negative Pole sind hingegen runde Objekte.Er sagte offenherzig, dass die Wurzel dieses Fehlers vielleicht darin liegen könnte, dass die Beobachtungsinstrumente in jener Zeit zu primitiv waren.Im Jahr 2023 arbeitete er bei OpenAI an dem ersten großangelegten Projekt zur automatisierten Neuronenauslegung. Mit den bestehenden Tools konnte nur etwa 2% der Neuronen interpretiert werden. Drei Jahre später, als er mit einem fortschrittlicheren Algorithmus und einer Agent-Team wieder untersuchte, stellte er fest, dass die Situation völlig anders war. In dem modernen visuellen Modell, das sie testeten, konnten 99% bis 100% der Neuronen in der letzten Schicht ziemlich klar interpretiert werden. Sogar InceptionV1, das damals für „tiefe Verwirrung“ bekannt war, konnte mit den neuen Tools eine deutlich höhere Interpretierbarkeit erzielen. Daher veröffentlichte Nick Cammarata einen langen Artikel, der 65 Minuten zu lesen ist.《Neuronale Netzwerke sind bereits sauber》Und er stellte eine erstaunliche Theorie vor:Das neuronale Netzwerk ist im Grunde viel „sauberer“ als wir es uns vorstellen können.„Sauber“ bedeutet hier nicht, dass „ein Neuron nur eine Aufgabe erledigt“, sondern dass innerhalb des Netzwerks eine äußerst kohärente, präzise und vollständig lesbare Organisationstruktur vorhanden ist. Es ist wie ein ordentliches Kartenbild, das man mit zwei Klicks vergrößern kann, um die Details zu sehen.。Dazu übertrug der Kernforscher von OpenAI, roon, direkt und rief aus:„Ein wichtiger Moment in der Geschichte der Wissenschaft“, „Endlich können wir die KI in eine ‚normale Wissenschaft‘ verwandeln.“Letztendlich bedeutet die Etablierung dieses Artikels, dass die Kernängstlichkeiten der Erklärbarkeitsforschung in den letzten zehn Jahren wieder aufgehoben werden. In den letzten Jahren hat die AI-Welt viel Mühe in die Aufteilung mit den dichten Autorekken (SAE), die Merkmalsdatenbanken und die Merkmalsentfaltung investiert – doch möglicherweise sind sie den falschen Weg gegangen.Vielleicht kann auch das Bereich der Erklärbarkeit mit „The Bitter Lesson“ gelöst werden, also einfach und effizient.
01
Die Entstehung und Umkehrung des zehnjährigen Konsenses
Warum man denkt, dass das „Gehirn der AI“ ein verwirrtes Durcheinander sei? Alles beginnt mit dem visuellen Modell InceptionV1 von 2014. Als frühe „Modellebios“ für die Erforschung der Erklärbarkeit entdeckten Forscher, dass die oberflächlichen Neuronen des Modells noch klar sind, aber je tiefer man geht, desto mehr sieht es aus wie ein verwirrtes Durcheinander. Damals schätzte man voraus, dass nur etwa 5% der letzten Schicht von Neuronen für den Menschen verständlich sind. Der bekannteste ist das Neuron von 4e:55, das zwei völlig unzusammenhängende Elemente mit einem einzigen Neuron verbindet – was immerhin gegen die einfache Erwartung „Ein Neuron entspricht einem Konzept“ verstößt. Um dieses Phänomen zu erklären, hat die Wissenschaftswelt eine zentrale Theorie vorgeschlagen.„Superposition-Hypothese“. Sie glauben, dass die KI, wenn die Anzahl der Neuronen nicht ausreicht, heimlich ihre Lernstrategie ändert und unabhängige Konzepte in ein einziges Neuron zusammenfällt. Da sie selten gleichzeitig aktiviert werden, stören sie sich gegenseitig nicht.Im Jahr 2020 ließen Cammarata und Chris Olah in ihrer Meilensteinarbeit „Zoom In“ noch mehr konkrete Beweise erbringen: Die Netzwerkverbindungen haben tatsächlich die charakteristischen Signale von Autos in eine Gruppe von „Hundenzellen“ versteckt, was das Phänomen der Überlagerung weiter untermauert. Da die neuronale Netzwerke geknotet sind, muss man Werkzeuge erfinden, um sie gewaltsam „aufdrückeln“. Seit langem verwenden Top-Labors wie Anthropic und OpenAI den dichten Selbstkodierer (SAE) als dominantes Verfahren. Dabei wird ein Hilfsmodell trainiert, um die mehreren Merkmale, die ursprünglich in den Neuronen eingebaut sind, herauszulösen, neu zu klassifizieren und menschlich lesbische Tags zu vergeben. Aber Nick Cammarata Es wurde festgestellt, dass mit jedem Upgrade des Beobachtungsinstruments die scheinbar chaotischen Neuronen automatisch klarer werden. Er konnte nicht umhin zu zweifeln.Vielleicht liegt das Problem gar nicht in der neuronalen Netzwerk, sondern in den Werkzeugen, mit denen wir das Netzwerk beobachten.Von der Erfindung der visuellen Feature-Visualisierungstechnik im Jahr 2009 bis hin zu den klareren Neuronenvisualisierungen nach der Einführung der Robustheit von Transformationen, und schließlich zu Nick Cammarata heute Durch die Feinjustierung der Parameter führte das Team den Algorithmus auf dem „Aktivierungspfad des echten Bildes“ weiter, und es wurde festgestellt, dass mehr als 99 % der Neuronen in der letzten Schicht der modernen Architekturen wie ConvNeXt klar lesbar werden. Tatsächlich haben sich in diesen zehn Jahren alle gegen den Fehler des Tools angelegt.02
Die „Umfassenden Überprüfung“ von zwei klassischen Beispielen
Nach der Verbesserung des Tools haben zwei klassische Beispiele im Bereich der Erklärbarkeit eine Umkehrung erfahren. Der zentrale Logik dieser Umkehrung ist es, mit dynamischen Mechanismen und vernünftigen geometrischen Eigenschaften die frühere statische, wörtliche Nomenklassifikation zu widerlegen.▎Fall 1: „Katze und Automobil-Neuronen“-Fall
Die Visualisierung von Merkmalen in der Vergangenheit bedeutet im Grunde, mit einem Gradientenabstiegsalgorithmus ein Bild zu erzeugen, das die Neuronen am besten aktiviert. Doch um den höchsten Aktivierungswert zu erreichen, versucht der Algorithmus, einen „Kurzschluss“ zu nehmen und es entsteht das Problem des „Reward Hacking“. Aufgrund der großen Anzahl von Bildern mit Katzen und Hunden im ImageNet-Trainingsdatensatz sowie der starken Merkmale, führen die erzeugten Aktivierungsbilder dazu, dass semantische Rückstände wie die Schnurrhaare einer Katze oder das Fell eines Hundes enthalten sind. Forscher interpretieren diese mitgebrachten Merkmale und glauben unwillkürlich, es handele sich um ein „Tierneuron“. Deshalb verwendete die Kommission von Nick Cammarata zwei strengere Methoden zur erneuten Beobachtung. Erstens: Die Anleitung des Aktivierungspfades – durch feine Justierung der Regularisierungsparameter wird verhindert, dass der Algorithmus den natürlichen Aktivierungspfad des echten Bildes folgt, wodurch die von ihm selbst erzeugten Störgeräusche entfernt werden. Zweitens: Die Kreuzvalidierung von positiven und negativen Polen – nicht nur untersucht wird, was Neuronen am besten aktiviert (positive Pole), sondern auch, was sie am besten hemmt (negative Pole), um die wahre Funktion der Neuronen gemeinsam zu fixieren. Es wurde festgestellt, dass das neuronale Netz ursprünglich nach geometrischen Kriterien klassifiziert wurde. Im Fall des „Katzenneuronen“ erkennt es die V-förmige Geometrie. Jede V-Form triggert seine positive Pole, wie das spitze Gesicht eines Fuchses, die ausgestoßene Flamme, der Spitzkegel eines Autos oder die V-förmige Wassersäule eines Feuerbootes. Umgekehrt triggern alle runden Formen seine negative Pole, wie das runde Gesicht, der Kreis und die runden Räder.▎Fall zwei: „Autos und Hunden Neuronen“ Fall
Und die andere Gruppe von „Auto und Hund“ Fallbeispielen folgt demselben Prinzip. In den Trainingsdaten von InceptionV1 gibt es viel mehr Hund-Bilder als Auto-Bilder, und die Neuronen, die mit Hunden zu tun haben, sind auch dichter. Wenn der Optimierungprozess in das „Hund-Imagebecken“ fällt, kann er nicht wieder herauskommen, und am Ende ist das „stärkste Aktivierungsbild“ ausschließlich aus Hunden bestehend. Um die Wahrheit herauszufinden, hat das Team von Nick Cammarata diesmal ein automatisches Agent-Tool eingesetzt und eine dynamische Gradientenverfolgung sowie eine Ablösung (Korrektur der Kontrollvariablen)-Experimente für diese Gruppe von Schaltkreisen durchgeführt. Durch die Aufteilung mit der Dissolution-Methode der Generalisierungsachsen stellten sie fest, dass diese Gruppe von Neuronen überhaupt keine „Hund-Neuronen“ waren, sondern Neuronen, die erkennen, ob ein Objekt direkt vor der Kamera steht und symmetrisch auf beiden Seiten ist. Die charakteristischen Signale des Autos werden hier mit dem Label „Vorwärts gerichtet“ markiert, fließen dann weiter nach unten in tiefere Schichten und teilen sich schließlich in den eigentlichen „Auto-Klassifizierungs-Schaltkreis“ und den „Hund-Klassifizierungs-Schaltkreis“.Die Wurzel des früher vorhandenen mehrdeutigen Missverständnisses lag eigentlich in der Datenbankabweichung. Im Grunde genommen verflechten sich die Merkmale natürlich in einer kontinuierlichen Generalisierung und Aufteilung entlang des Signals.03
Ist die Wahrheit über die Neuronen eine rekursive Generalisierung?
Da die neuronale Netzwerk nicht chaotisch zusammengesetzt ist, wie entsteht dann das Phänomen der „Mehrdeutigkeit“? Nick Cammarata liefert eine neue Erklärung:Recursive Generalisierung.Er glaubt, dassNeuronen wachsen wie Äste.Ein Neuron erkennt möglicherweise anfangs nur Rapsblüten. Entlang der Merkmalsachse „gelb“ erweitert es sich allmählich auf die Erkennung aller gelben Objekte; entlang der Achse „kugelförmige Form“ erstreckt es sich auf verschiedene kugelförmige Objekte; dann entlang des Verbindungspfades „lebende Wesen im Blumenfeld“ umfasst es weiterhin die Hunde im Blumenfeld und schließlich auch grünen Brokkoli. Wenn der Mensch nur sieht, dass dieses Neuron gleichzeitig auf Rapsblüten und Brokkoli reagiert, könnte man leicht denken, dass die Logik des Modells verwirrt ist. Aber wenn man den gesamten Weg zurückverfolgt, auf dem es gewachsen ist, stellt man fest: Jede Abzweigung, jede Erweiterung der Eigenschaften, verfügt über eine kohärente Logik. Im Sprachmodell ist das Phänomen der rekursiven Generalisierung noch ausgeprägter. Zum Beispiel: Die Neuronen, die ursprünglich nur den Laut „iy“ erkennen, erweitern sich im Training zuerst auf das Erkennen des Wortes „diy“, und schließlich kann sogar der vollständig keine „iy“-Laute enthaltende Ausdruck „Do it yourself“ aktiviert werden.Die sogenannte für Menschen unverständliche Logik ist in Wirklichkeit die hochdimensionale Logik einer neuronalen Netzwerk, durch die semantische Erweiterungen erfolgen.In diesem Fall würde die traditionelle Schule sicherlich widersprechen: Wenn die Neuronen wirklich nicht ausreichen, würde das neuronale Netzwerk dann nicht in einen Überlagerungsmodus wechseln? Dafür entwickelte Nick Cammarata ein Experiment zur Grenzbelastung. Er konzentrierte sich auf die 3b-Schicht von InceptionV1. In dieser Schicht gibt es keinen Residualfluss, und die Signale können nicht umgeleitet werden. Nick Cammarata reduzierte die 480 Neuronen, die ursprünglich für die Detektionkurve verwendet wurden, direkt auf 10, was einer Verdoppelung von 48 entspricht, und trainierte sie dann von Null aus neu. Nach der Überlagerungshypothese fügen neuronale Netzwerke bei einem starken Raummangel sicherlich verschiedene unbedeutende Merkmale in diese 10 Neuronen ein. Das Ergebnis ist jedoch das Gegenteil. Die 10 Neuronen sind jeder einzeln klar erklärbar; sie haben lediglich alle einen größeren Bereich: ein „Kurven-und-Ringe“- Neuron, das die ursprünglichen Detektoren für Kurven in 10 verschiedenen Winkeln aktiv kombiniert; zwei „kreisförmige“ Neuronen, die die ursprünglich komplexen verschiedenen kreisförmigen Klassifizierungen übernehmen. Er fand auch eine umstürzende Entdeckung: Die durch SAE „Dehnbarkeit“ entstandenen Merkmale wurden nicht sauberer, sondern hatten die Antwortbreite mehrere Male so groß wie das ursprüngliche Neuron.Das bedeutet, dass die in den letzten Jahren von unzähligen Wissenschaftlern bejubelten, behaupteten „überlagerte Merkmale, die aus der Netzwerk-Hotbox entfernt wurden“... wahrscheinlich einfach eine mathematische Täuschung sind, die das Tool SAE selbst erzeugt hat.04
Netizen zweifeln an keinen neuen Ideen
Nach der Veröffentlichung des langen Artikels wurde Nicks Cammaratas Twitter zu einem großen Fragenbereich für die Nutzer. Jemand fragte, ob diese Methode noch anwendbar sei, wenn in Zukunft eine nicht-Transformer-Architektur auftritt. Nick Cammarata gab nicht nur eine positive Antwort, sondern sagte auch...Je besser die Leistung des Modells ist, desto einfacher ist es in Wirklichkeit, innerlich zu erklären.Die drei völlig unterschiedlichen Grundarchitekturen – die alte Art der konvolutischen neuronalen Netzwerke, die neue Art der konvolutischen neuronalen Netzwerke und die moderne Transformer-Modelle – haben die Allgemeingültigkeit dieser Theorie bewiesen. Mike Knoop, Gründer von Zapier, fragte online, ob man den „Reinheitsgrad“ der neuronalen Netzwerke direkt in ein offizielles Branchenbewertungsmaßstück umwandeln könnte? Nick Cammarata sagte, dass dies nicht schwierig sei. Die Menschen haben in der Vergangenheit die Forschungsmöglichkeiten der natürlichen Schaltkreise zu stark unterschätzt. Tatsächlich können Methoden wie die Steuerung der Aktivierung, das Abschneiden von Leitungen und die Erkundung von Blindzonen direkt eine Bewertung des Grundaufbaus von neuronalen Netzen liefern.Und einer der Kerngründer der Überlagerungstheorie, Neel Nanda, Leiter des Teams für Erklärbarkeit bei Google DeepMind, goss direkt Wasser ins Gesicht. Er sagte offen: „Dieser Artikel ist zwar interessant, aber er bringt keine wesentliche Durchbrüche für die Erklärbarkeit.“Neel zeigte treffend darauf hin, dass das eigentliche Thema des Streits nicht dieselbe „Überlagerung“ ist. Das Wort „Überlagerung“ hat im Bereich mindestens fünf oder sechs Definitionen, wobei die beiden wichtigsten sind: eine ist„Jede beliebige Überlagerung”D. Das Netzwerk fügt also unverhältnismäßig relevanten Merkmalen in einen Neuronen ein – das ist die Version, die Cammarata widerlegt hat. Eine andere Variante ist die, die er verteidigt. „Repräsentationssuperposition“Große Sprachmodellen können Wissen, das weit über die Anzahl der Neuronen hinausgeht, speichern. Dabei nutzen sie eine sehr geringe Anzahl von Neuronen, um durch lineare Kombination riesige Konzepte auszudrücken. Die Ziele beider sind jedoch nicht dasselbe. Auf dieser Grundlage stellte Neel aus drei Dimensionen konkrete technische Fragen.Zuerst gibt es das Problem mit der Positionierung der „schwachen Aktivierung“.Nick glaubt, dass schwache Aktivierung meist eine sekundäre Äste der semantischen Erweiterung sind und dass sie abgeschnitten ohne Schaden ist. Aber Neel weist darauf hin, dass in der schwachen Neuronenaktivierung riesige Mengen an Fakten und Erinnerungen gespeichert sind, die genau das zentrale Medium für die Überlagerung darstellen. Neel betont außerdem,Die festesten Beweise für den Artikel stammen alle aus dem visuellen Modell, aber Sehen und Sprache sind im Grunde unterschiedlich.Sprachmodellen sind Träger von riesigen Mengen an Fakten, Erinnerungen und Wissen, deren Informationsdichte mehrere Grade beträgt. Das kleine Bildmodell selbst hat eine schlechte Gedächtnisfähigkeit und kann nicht beweisen, dass auch bei großen Sprachmodellen keine Aufladung stattfindet.Schließlich ist es wichtig, den SAE (Dünnstruktur-Selfencoder) richtig zu bezeichnen.Neel klärte aus, dass SAE auf dem Residualfluss weiterhin ein unersetzliches Werkzeug ist, das die Informationsengpässe jeder Schicht des Modells präzise widerspiegelt. Es geht nicht darum, wer den anderen ersetzt, sondern beide haben ihre eigenen Anwendungsfälle.Auf diese Zweifel stimmt auch Cammarata zu. Er gibt zu, dass sein Artikel nur eine „Arbeitshypothese“ ist, und es gibt noch einige wichtige Fragen, die er nicht gelöst hat:Die Erklärbarkeit ist nicht durch das Wachsen des Modells „verbraucht“ worden, und die Innenstruktur des riesigen Modells ist weiterhin sauber. Die anderen ingenieurtechnischen Herausforderungen, die mit dieser Supergröße einhergehen, sind bisher noch nicht vollständig gelöst. Was die Abdeckung angeht, betrifft die Forschung nur einmodale Modelle in visueller und linguistischer Form, sowie multimodale Modelle mit visuell-linquischer Integration – insbesondere die elektrische Organisation der Integrationsebene ist völlig unerfasst und könnte völlig anders sein als bei einmodalen Modellen. Was die Kernmechanismen angeht, wurde die rekursive Generalisierung nur im Bildmodell das gesamte Trainingsprotokoll vollständig verfolgt; das Sprachmodell fehlen die Daten der Checkpoints des Trainingsprozesses, sodass man nicht direkt den Schritt-für-Schritt-Prozess der neuronalen Generalisierung beobachten kann, sondern nur aus der endgültigen Form die Regeln ableiten kann. Was die Tool-Erkennung angeht, hat er SAE nie vollständig abgelehnt: Die Experimente haben gezeigt, dass SAE in den stark komprimierten Schichten keine sauberen natürlichen Merkmale liefert; aber in den normalen, unkomprimierten ursprünglichen Schichten liegt die Passgenauigkeit zwischen SAE und natürlichen Neuronen bei 0,96-1,00, was es immer noch zu einem effizienten Tool macht. In Bezug auf die Einschränkungen der Methode ist die aktuelle Schlussfolgerung stark von Experimenten mit Richtungswechsel und Attributionstabellen abhängig, wobei letztlich immer noch die Herangehensweise „Manipulation zur Beobachtung der Wirkung“ verwendet wird; die strengen kausale Überprüfungen ohne aktive Manipulation des Systems im rein natürlichen Zustand bleiben weiterhin offene Fragen. Selbst wenn es nur eine Arbeitshypothese ist, zwingt es die Akteure in den vier Bereichen dazu, ihre technischen Ausrichtungen neu zu kalibrieren.- Team für Erklärbarkeit: Hör auf, sich darauf zu verlassen, das Netzwerk mit SAE zu „Dekodieren“. Schau direkt auf die natürlichen Neuronen und Schaltkreise und führe schnelle, reguläre Beobachtungen durch.
- Ein Team, das sicher aufgestellt ist: Das ist definitiv eine gute Nachricht. Wenn das native Netzwerk natürlich lesbar ist, bedeutet das, dass die Barriere zur Integration mit superintelligenten Systemen niedriger ist als gedacht – obwohl die Integration immer noch schwierig ist, ist zumindest der „Hürdenwert für das Verständnis von AI“ stark gesunken.
- Die Team, das Architekturdesign erstellt: Die Verbesserungen wie Residualflüsse und LayerNorm, die dazu dienen, das Modell besser zu lernen, haben unerwartet dazu geführt, dass das Netzwerk leichter lesbar wird. In Zukunft kann Suchfunktion für Architekturen ganz offen „Erklärbarkeit“ in die Indikatoren aufnehmen, da sie vollständig mit der Leistung kompatibel ist!
- Das Projektteam für die Anwendungsebene: In der Zukunft wird es nicht mehr notwendig sein, das Verhalten von AI erneut zu justieren. Durch das Verhaltensinterventionsteam kann „ein Neuron reguliert werden, was direkt das Verhalten des Modells in bestimmten rechtlichen/medizinischen Szenarien verändert“ – und das wird direkt aus dem Theoretischen Konzept in eine Produktfunktion auf der Produktionslinie übergehen!
Steigen Sie ein – Lei Feng Net (Public Account: Lei Feng Net) zeigt Ihnen die wichtigsten Konferenzen im Bereich KI aus aller Welt
Exklusives Zugangssystem:
Experten-Vortrag PPT
Vollständiger Bericht der Konferenz
Interpretation der beliebten Artikel
Interview mit der neuen akademischen Stern
Scannen Sie das QR-Code oben
Oder klicken Sie auf „Originalartikel lesen“, um sich über den Bereich zu informieren.
Artikel von Leifeng.com – ohne Genehmigung ist die Verbreitung untersagt. Weitere Informationen finden Sie unter Hinweise zur Verbreitung.