작성자 | 가오윈이(高允毅)
편집丨岑 峰
“대규모 모델이 고양이와 자동차를 한 분류로 묶는 것은 멍청해서가 아니다.” AI 해석 가능성 분야에는 10년 된 고전 사례가 하나 있는데, 바로 InceptionV1 모델에서 번호 4e:55인 뉴런이다. 이 뉴런은 “고양이 얼굴”과 “자동차 앞부분”을 볼 때 모두 강하게 활성화된다. 이는,신경망 전체의 저수준 논리가 해석 불가능하다는 것을 의미한다. 그래서 10년 동안 이 분야 전체가 “분해한다”는 사고방식을 따라 앞으로 나아갔다. 네트워크가 뒤엉킨 실타래 같은 블랙박스라면, 그것을 해체할 도구를 발명하면 된다는 것이다. 희소 오토인코더(SAE) 분해, 특징 사전, 특징 언태글링…… 모두 먼저 얽힌 특징들을 사람이 이해할 수 있는 독립적인 단위들로 분해한 뒤 이해하려는 접근이다. 바로 어제,OpenAI 초기 기계적 해석 가능성 연구 과학자이자, 당시 이 사례를 고전으로 만든 《Zoom In》의 공동 저자인 Nick Cammarata 가, 자신이 내렸던 결론을 직접 뒤집었다.“이 뉴런은 고양이도 자동차도 전혀 모릅니다. 그것이 감지하는 것은 V 자 형태의 기하학적 모양으로, 여우의 뾰족한 얼굴이든 뿜어져 나오는 불꽃이든 무엇이든 이 뉴런의 양극을 활성화시킵니다. 그리고 그 음극은 원형의 물체입니다.”그는 이러한 오판의 근원이 아마 당시의 관측 도구가 너무 원시적이었기 때문이라고 말했다.2023년 그는 OpenAI에서 첫 번째 대규모 자동화 뉴런 해석 프로젝트를 수행했을 때, 기존 도구로는 약 2%의 뉴런만 해석할 수 있었다. 그로부터 3년 뒤, 더 발전된 알고리즘과 Agent 팀을 이끌고 다시 연구했을 때 상황이 완전히 다르다는 것을 발견했다. 그들이 테스트한 현대 비전 모델에서는 마지막 층의 99%~100%의 뉴런에서 상당히 명확한 해석을 찾을 수 있었다. 심지어 당시 “깊은 층의 혼돈”으로 악명 높았던 InceptionV1 자체도 새 도구로 다시 관측하니 해석 가능률이 크게 상승했다. 이에 Nick Cammarata는 읽는 데 65분이 필요한 장문의 글《Neural Networks Are Already Clean》을 발표하고, 놀라운 주장을 제기했다:신경망 그 자체는 우리가 생각하는 것보다 훨씬 “깨끗하다”는 것이다. 여기서 “깨끗하다”는 것은 “하나의 뉴런이 한 가지 일만 한다”는 뜻이 아니라, 네트워크 내부에 극도로 일관되고 정교하며 인간이 직접 읽을 수 있는 조직 구조가 있다는 의미다. 그것은 정연한 지도와 같아서, 세부를 보고 싶으면 “더블클릭으로 확대”하면 된다。이에 대해 OpenAI 핵심 연구원 roon은 이를 곧바로 리트윗하며 경악하면서, 이것이“과학사의 중요한 순간”이며 “드디어 AI 정렬을 ‘상과학(normal science)’으로 만들 수 있게 되었다”고 말했다.어쨌든, 이 글이 타당하다면 지난 10년간 해석 가능성 연구의 핵심 불안을 뒤집는 것과 같다. AI 업계가 지난 몇 년간 큰 공을 들여 수행한 희소 오토인코더(SAE) 분해, 특징 사전, 특징 언태글링은 모두 잘못된 길을 걸었을지도 모른다.어쩌면 해석 가능성 분야도 “The Bitter Lesson”으로 해결할 수 있다. 즉, 단순함이 곧 효율성이라는 것이다.
01
10년 공식의 탄생과 반전
사람들은 왜 “AI의 뇌”를 실타래라고 여겼을까? 이 모든 것은 2014년의 InceptionV1 비전 모델에서 시작된다. 해석 가능성 연구 초기의 “모델 생물(model organism)”로서, 연구자들은 모델의 표층 뉴런은 비교적 명확하지만 깊은 층으로 갈수록 실타래처럼 얽혀 있다는 것을 발견했다. 당시 사람들은 마지막 층에서 인간이 이해할 수 있는 뉴런은 학계에서 겨우 5%에 불과하다고 추정했다. 그중 가장 유명한 것이 4e:55 뉴런인데, 전혀 관련 없는 두 대상이 하나의 뉴런을 공유하도록 만들어, 어떻게 봐도 “하나의 뉴런에 하나의 개념”이라는 소박한 기대에 어긋났다. 이러한 현상을 설명하기 위해 학계는 핵심 이론 하나를 제안했다“중첩 가설(Superposition)”이다. 그들은 뉴런 수가 부족해지면 AI가 몰래 학습 전략을 전환하여 서로 관련 없는 개념들을 같은 뉴런 안에 “접어서” 넣는다고 보았다. 이 개념들은 거의 동시에 활성화되지 않기 때문에 서로 간섭하지 않는다는 것이다.2020년, Cammarata와 Chris Olah는 기념비적인 논문 《Zoom In》에서 더 구체적인 증거를 제시했다. 네트워크가 자동차의 특징 신호를 한 무리의 “개 뉴런” 속에 숨겨두었다는 것으로, 이는 중첩 현상을 더욱 확증해 주었다. 신경망이 얽혀 있다면, 그것을 강제로 “분해할” 도구를 발명해야 한다. 줄곧 Anthropic과 OpenAI 등 최상위 연구소들은 희소 오토인코더(SAE)를 주류 방안으로 삼았는데, 그 아이디어는 보조 모델을 학습시켜 뉴런 속에 억지로 쑤겨 넣어진 여러 특징을 강제로 끌어내고, 재분류하고, 인간이 읽을 수 있는 라벨을 붙이는 것이다. 그러나 Nick Cammarata는 관측 도구가 업그레이드될 때마다 겉보기에 혼돈스러웠던 뉴런이 저절로 조금씩 명확해진다는 것을 발견했고, 그는어쩌면 문제는 신경망이 아니라, 네트워크를 관측하는 우리의 도구에 있을지도 모른다고 의심하지 않을 수 없었다.2009년 특징 시각화 기술이 막 탄생했을 때의 합성된 환각적 이미지에서, 변환 강건성을 도입한 뒤의 비교적 명확한 뉴런 시각화 이미지를 거쳐, 오늘날 Nick Cammarata 팀이 파라미터를 미세 조정하여 알고리즘을 “실제 이미지의 활성화 경로”를 따라 관측하도록 유도하면서, 현대 아키텍처(예: ConvNeXt)의 마지막 층에서 99% 이상의 뉴런이 명확하게 읽을 수 있게 되었다는 것을 발견했다. 알고 보니 이 10년 동안 모두가 도구 오차와 씨름하고 있었던 것이다.02
두 고전 사례의 “탈죄”
도구가 업그레이드된 후, 해석 가능성 분야의 두 가지 '다의성' 고전 사례가 동시에 반전을 맞이했다. 이 반전의 핵심 논리는동적인 메커니즘과 합리적인 기하학적 특징으로 과거의 정적이고 문자 그대로의 명사 분류법을 뒤집은 것이다.▎사례 1: “고양이와 자동차 뉴런” 사례
과거의 특징 시각화는 본질적으로 경사 하강법 알고리즘으로 뉴런을 가장 강하게 활성화하는 이미지를 합성하는 것이었다. 하지만 알고리즘이 최고 활성값을 추구하느라 “지름길”을 택해“보상 부정행위”(reward hacking)문제가 발생했다. ImageNet 훈련 세트에 고양이와 개 클래스 이미지가 극도로 많고 특징이 극도로 강했기 때문에, 알고리즘이 합성한 최강 활성 이미지에는 고양이의 수염, 개의 털 같은 의미 잔재가 섞여 있었다. 연구자들은 이러한 부수적 특징을 따라 해석하다 보니 자연스럽게 이것을 “동물 뉴런”으로 오해하게 된 것이다. 이를 위해 Nick Cammarata 팀은 두 가지 더 엄밀한 방법으로 재관측을 진행했다. 첫째, 활성 경로 유도: 정규화 파라미터를 정교하게 미세 조정하여 알고리즘이 반드시 실제 이미지의 자연스러운 활성 경로를 따라 특징을 합성하도록 강제함으로써 알고리즘 자체가 만들어내는 간섭 노이즈를 제거했다. 둘째, 양극 교차 검증법: “무엇이 뉴런을 가장 강하게 활성화하는가”(양극)만 연구하는 것이 아니라 “무엇이 뉴런을 가장 강하게 억제하는가”(음극)도 함께 연구하여, 양쪽 끝으로 뉴런의 진짜 기능을 고정했다. 그 결과, 신경망은 사실 기하학에 따라 분류하고 있었다는 것이 밝혀졌다. “고양이-차 뉴런” 사례에서 그것이 감지하는 것은 V자 기하학적 형태였다. 어떤 V자 윤곽이든 그 양극을 트리거한다. 예를 들어 여우의 뾰족한 얼굴, 분사되는 불꽃, 자동차의 뾰족한 앞부분, 소방선이 뿜어내는 V자형 물기둥 등이다. 반대로 모든 원형 윤곽은 음극을 트리거한다. 예를 들어 둥근 얼굴, 둥근 공, 원형의 바퀴 등이다.▎사례 2: “자동차와 개 뉴런” 사례
또 다른 “자동차와 개” 사례도 같은 원리다. InceptionV1 훈련 데이터에는 개 이미지가 자동차보다 훨씬 많았고 개 관련 뉴런도 더 촘촘했기 때문에, 최적화 과정이 “개 이미지 분지”에 빠져 벗어나지 못해 최종적으로 합성된 “최강 활성도”는 모두 개였다. 진실을 밝히기 위해 Nick Cammarata 팀은 이번에 자동화 Agent 도구를 도입해 이 회로에 대해 동적인 그래디언트 추적 및 소거(변수 통제 와이어 절단) 실험을 수행했다. 일화 축 해리 방법과 결합하여 분해한 결과, 이 뉴런들은 원래 “개 뉴런”이 아니라 “물체가 정면으로 카메라를 향하고 좌우 대칭인지”를 감지하는 뉴런이라는 것이 밝혀졌다. 자동차의 특징 신호는 여기서 “정면을 향함”이라는 라벨이 붙은 후, 하류의 더 깊은 층으로 계속 흘러가 최종적으로 진짜 “자동차 분류 회로”와 “개 분류 회로”로 분류된다.이전에 다의성이 오독된 근원은 사실 데이터셋 편향에 있었다. 본질적으로 특징은 자연스럽게 신호를 따라 연속적인 일반화와 분류가 이루어진다.03
뉴런의 진실은 재귀적 일반화인가?
신경망이 무작위로 겹쳐 쌓는 것이 아니라면, “다의성” 현상은 어떻게 생겨난 것일까? Nick Cammarata는 새로운 해석을 내놓았다:재귀적 일반화.그는뉴런이 나뭇가지처럼 자란다고 본다. 어떤 뉴런은 처음에는 아마 유채꽃만 식별할 수 있었다. “노란색”이라는 특징 축을 따라 점차 모든 노란 물체를 식별하도록 확장되었고, “원형 외형”이라는 축을 따라 각종 구형 물체로 확장되었으며, 다시 “꽃밭 속 생물”이라는 연상 경로를 따라 꽃밭의 개까지 포괄하게 되었고, 마지막으로 녹색 브로콜리까지 확장되었다. 인간이 이 뉴런이 유채꽃과 브로콜리에 동시에 반응하는 것만 보면 모델의 논리가 혼란스럽다고 오해하기 쉽다. 하지만 그것이 자란 완전한 경로를 추적해 보면, 매번의 분기, 매번의 특징 확장이 모두 일관된 논리를 갖고 있음을 알 수 있다. 언어 모델에서 재귀적 일반화 현상은 더 과하다. 예를 들어, 원래 “iy” 발음만 감지하던 뉴런은 훈련 중 먼저 “diy”라는 단어를 식별하도록 확장되었고, 마지막에는 “iy” 발음이 전혀 포함되지 않은 구문 “Do it yourself”조차 그것을 활성화하게 되었다.인간이 이해할 수 없다고 여기던 논리는 실제로 신경망이 자신의 고차원 논리로 의미를 확장하고 있는 것이다.이때 전통 학파는 반드시 반박할 것이다: 뉴런이 정말 부족하다면 신경망이 중첩 모드로 전환하지 않을까? 이를 위해 Nick Cammarata는 극한 스트레스 실험을 설계했다. 그는 InceptionV1의 3b 층에 주목했다. 이 층에는 잔차 흐름이 없어 신호가 우회할 수 없다. Nick Cammarata는 이 층의 원래 곡선을 감지하던 480개 뉴런을 10개로 직접 압축했는데, 이는 48배 압축에 해당하며, 그 후 처음부터 다시 훈련했다. 중첩 가설에 따르면 공간이 심각하게 부족할 때 신경망은 분명 각종 무관한 특징을 이 10개 뉴런에 뒤섞어 넣을 것이다. 결과는 정반대였다. 이 10개 뉴런은 하나하나 모두 명확하게 해석 가능했으며, 단지 각각 더 넓은 범위를 관할하게 되었을 뿐이었다: 하나의 “곡선과 고리” 뉴런은 원래 서로 다른 각도의 10개 세분화 곡선 검출기를 능동적으로 병합했고, 두 개의 “원형” 뉴런은 원래 복잡했던 여러 원형 분류를 모두 맡았다. 그는 또 하나의 뒤집는 발견을 얻었다. SAE “언태ング”로 분리해낸 특징은 깨끗해지지 않았을 뿐 아니라, 오히려 반응 폭이 원래 뉴런보다 몇 배나 굵어졌다.이는 지난 몇 년간 수많은 과학자들을 환호하게 했던 “네트워크 블랙박스에서 언태ング해낸 중첩 특징”이라 주장된 것들이…… 아마도 근본적으로 SAE라는 도구 자체가 만들어낸 수학적 착각일 수 있음을 의미한다.04
네티즌들은 새로운 것이 없다고 의문을 제기했다
장문 게시 이후 Nick Cammarata의 트위터는 네티즌들의 대형 질문 코너로 변했다. 누군가 미래에 Transformer가 아닌 아키텍처가 등장했을 때도 이 방법이 여전히 적용되는지 질문했고, Nick Cammarata는 긍정적인 답변을 줄 뿐만 아니라 다음과 같이 말했다.성능이 좋은 모델일수록 내부는 오히려 더 쉽게 설명될 수 있다.구식 합성곱 신경망, 신식 합성곱 신경망, 현대 Transformer 모델이라는 세 가지 전혀 다른 기반 아키텍처가 이 이론의 보편성을 이미 입증했습니다. Zapier 공동창업자 Mike Knoop는 온라인에서 신경망의 "청결도"를 정식 산업 평가 지표로 만들 수 없냐고 후속 질문을 던졌고, Nick Cammarata는 그리 어렵지 않다고 답했습니다. 인간은 지금까지 네이티브 회로의 연구 가능성을 너무 과소평가해 왔는데, 사실 활성화 제어, 회로 절단(소거), 맹점 탐지 등의 방법을 통해 신경망의 기저 질서에 직접 "점수"를 매길 수 있습니다.또한 슈퍼포지션 이론의 핵심 창시자 중 한 명인 Google DeepMind 기계 해석성 팀장 Neel Nanda는 직접 찬물을 끼얹었다. 그는 "이 글은 흥미롭지만, 해석성 측면에서는 실질적인 돌파구를 가져다주지는 못한다"고 분명히 말했다.Neel은 정곡을 찌르듯 지적했다. 양측이 논쟁하는 것은 근본적으로 같은 "중첩"이 아니라는 것이다. "중첩"이라는 단어는 이 분야에서 최소한 다섯 여섯 가지 정의가 있는데, 가장 핵심적인 것은 두 가지이고, 하나는“임의 중첩”, 즉 네트워크가 아무런 관련이 없는 특징들을 하나의 뉴런에 우겨 넣는 것으로, 이는 Cammarata가 뒤집은 버전이다. 다른 하나는 그가 옹호하는 "표현 중첩"대언어 모델은 뉴런 수를 훨씬 초과하는 지식을 기억할 수 있는데, 그 비결은 극소수의 뉴런을 선형 결합을 통해 방대한 개념을 표현하는 데 활용하는 데 있다. 두 쪽의 과녁은 애초에 다른 곳에 있다. 이를 바탕으로 Neel은 세 가지 차원에서 구체적인 기술적 의문을 제기했다.먼저 '약한 활성화'의 포지셔닝 문제이다.Nick는 약한 활성화는 대부분 의미 확장의 2차 가지로서, 잘라내도 큰 문제가 없다고 생각합니다. 하지만 Neel은 약한 뉴런 활성화 안에 방대한 사실과 기억 조합이 저장되어 있으며, 이것이야말로 중첩의 핵심 매개체라고 지적합니다. Neel은 동시에 강조합니다,논문의 가장 탄탄한 증거는 모두 시각 모델에서 나왔지만, 시각과 언어는 본질적으로 다르다.언어 모델은 방대한 사실, 기억, 지식의 담체로서 정보 밀도가 몇 자릿수나 높다. 작은 이미지 모델 자체의 기억 능력이 떨어지기 때문에 대형 언어 모델 안에도 중첩이 없다고 증명할 수 없다.마지막으로 SAE(희소 오토인코더)를 위한 명예 회복입니다.Neel은 SAE가 잔차 스트림에서 여전히 대체 불가능한 도구이며, 모델의 각 층에서 정보 병목을 민감하게 반영한다고 명확히 했습니다. 이는 누가 누구를 대체하느냐의 문제가 아니라, 두 방법이 각자 적합한 활용 분야를 가지고 있다는 것입니다.이러한 의문들에 대해 Cammarata 또한 동의한다. 그는 자신의 글이 하나의 “작업 가설”에 불과하며 아직 해결하지 못한 몇 가지 핵심 질문이 있다고 인정했다.해석 가능성은 모델이 커진다고 해서 '포화'되지 않았으며, 초거대 모델의 내부는 여전히 깨끗하다. 이러한 초대규모 자체가 가져오는 다른 엔지니어링 난제들은 아직까지 터무니없이 많이 남아 있어 철저히 해결되지 않았다. 범위 측면에서, 이 연구는 시각 및 언어 단일모달 모델만을 다루었으며, 시각-언어 융합 다중모달 모델, 특히 융합 계층의 회로 조직 형태는 전혀 다루지 않았고, 단일모달의 법칙과 완전히 다를 가능성이 크다. 핵심 메커니즘 측면에서, 재귀적 일반화는 이미지 모델에서만 훈련 전 과정을 완전히 추적했으며, 언어 모델은 훈련 과정의 체크포인트 데이터가 없어 뉴런이 단계적으로 일반화되는 과정을 직접 관찰할 수 없고 최종 형태로부터 법칙을 역추론할 수밖에 없다. 도구의 위치 측면에서, 그는 SAE를 전면 부정한 적이 없다. 실험은 극도로 압축된 계층에서 SAE가 깨끗한 네이티브 특징을 분해하지 못한다는 것만을 증명했을 뿐이다. 그러나 정상적인 압축되지 않은 원본 계층에서는 SAE와 네이티브 뉴런 간의 형태 일치도가 0.96-1.00에 달하며, 여전히 효율적인 도구이다. 방법론의 한계 측면에서, 현재의 결론은 steer-guidance 실험과 어트리뷰션 맵에 크게 의존하고 있으며, 본질적으로 모두 '교란하고 효과를 보는' 사고방식이다. 시스템을 능동적으로 교란하지 않는 순수한 자연 상태에서의 엄격한 인과 검증은 현재도 열린 문제로 남아 있다. 이것이 단지 하나의 작업 가설에 불과하다 하더라도, 이미 네 방향의 실무자들이 자신의 기술 방향을 재조정하도록 압박하고 있다.- 해석 가능성을 연구하는 팀：SAE로 네트워크에 얽힘 풀기 수술을 하려는 집착은 이제 그만두세요. 고개를 들어 원래의 뉴런과 회로를 바라보고, 빠른 일상적 관측을 시작하세요.
- 안전 정렬(alignment)을 하는 팀: 이건 정말 좋은 소식입니다. 네이티브 네트워크가 본래부터 읽을 수 있다면, 초지능 정렬의 진입 장벽이 생각보다 낮다는 뜻입니다——정렬은 여전히 어렵지만, 적어도 'AI를 이해하는 데 필요한 장벽'은 폭락했습니다.
- 아키텍처 설계를 하는 팀: 모델이 '더 잘 학습하도록' 만든 잔차 스트림(residual stream)과 LayerNorm 같은 개선이, 뜻밖에도 네트워크를 더 읽기 쉽게 만들었습니다. 앞으로의 아키텍처 탐색에서는 '해석 가능성'을 당당하게 지표에 넣을 수 있습니다. 성능과 완전히 호환되기 때문입니다!
- 애플리케이션 레이어 엔지니어링 팀: 앞으로는 AI 동작을 조율하기 위해 다시 파인튜닝할 필요가 없습니다. 행동 개입 엔지니어링을 통해 '뉴런 하나를 조절하면 특정 법률/의료 시나리오에서의 모델 동작이 바로 바뀐다'는 것이 논문 속 개념에서 생산 라인의 제품 기능으로 직접 바뀔 것입니다!
탑승하세요, 뇌봉왕(레이펑왕, 公众号：雷峰网)이 글로벌 AI 최고 학회의 정수를 모두 보여드립니다
독점적으로 열람 가능:
전문가 강연 PPT
컨퍼런스 보고서 전문
인기 논문 해설
학계 신성 인터뷰
위의 QR코드를 스캔하거나
「원문 보기」를 클릭하여 전용 코너를 팔로우하세요.
레이펑왕(雷峰网) 오리지널 기사이며, 무단 전재를 금지합니다. 자세한 내용은전재 안내를 참조하세요。