AI의 해석 가능성이 획기적인 돌파구에 가까운가? 새로운 논문으로 연구자들이 갈등을 겪고 있다

AI의 해석 가능성이 획기적인 돌파구에 가까운가? 새로운 논문으로 연구자들이 갈등을 겪고 있다

서포트션 가설의 배후에 있는 사람 중 한 명인 닉 카마라타에 따르면, 신경망은 연구자들이 생각했던 것만큼 복잡하지 않다. OpenAI의 Roon은 이를 역사적인 순간이라고 말한다. 구글 DeepMind의 연구원 네일 난다는 과도한 과장을 경계한다.

“신경망은 이미 깨끗하다”라는 제목의 긴 논문에서 닉 카마라타는 대규모 AI 모델의 내부 작동 방식이 이전에 생각했던 것보다 훨씬 이해하기 쉽다고 주장합니다. 카마라타는 Goodfire 해석성 연구실의 연구원입니다. 이 논문을 통해 그는 몇 년 전에 형성한 설명을 거부합니다.

기전적 해석 가능성은 AI 모델이 출력하는 결과를 관찰하는 것보다 더 많은 것을 시도합니다. 이는 모델이 어떻게 자신의 답을 내리는지 내부적으로 추적하는 것을 목표로 합니다. 이상적으로는 수백만 개의 인공 뉴런이 각각 인식 가능한 개념을 나타내야 합니다. 실제로는 많은 뉴런이 전혀 관련 없는 것에 반응하는 것으로 보였으며, 연구자들은 이를 다의성이라고 부릅니다. 초기이고 유명한 예시 중 하나는 InceptionV1 이미지 모델의 한 뉴런으로, 고양이 얼굴과 자동차 앞부분 모두에 반응했습니다. 카마라타는 자신의 초기 연구에서 이를 예시로 사용했다.

표준적인 설명은 중첩 이론이었습니다. 이 이론에 따르면 네트워크가 뉴런을 모두 사용할 수 없게 되면, 서로 방해되지 않는 사상들을 같은 뉴런 안에 집어넣습니다. 그 결과는 매듭과 같습니다. 그래서 많은 연구실에서는 스파시스 자동인코더와 같은 두 번째 모델을 훈련하여 사상들을 분리하도록 합니다. 그런 다음 원래 모델 대신 그 모델을 연구합니다.

카마라타는 이 관점 형성에 중요한 역할을 했습니다. 크리스 올라와 함께 그는 “Zoom In”라는 논문을 공동으로 집필했으며, 이 논문에서 최초의 중첩 회로가 소개되었습니다. 2023년에는 OpenAI에서 자동화된 해석 가능성 프로젝트를 시작했습니다. 당시에는 가장 관대한 기준으로도 약 1.7%의 뉴런만이 이해 가능하다고 여겨졌습니다.

증거는 잘못 해석되었을 수 있습니다

카마라타는 이제 가장 유명한 예시들이 오해되었다고 생각한다. 그는 고양이-차 뉴런이 실제로 V자 모양 검출기라고 말한다. 여우의 주둥이나 불꽃과 같은 뾰족한 모양이 그것을 활성화시키는 반면, O자 모양과 같은 둥근 모양은 그 활성화를 억제한다. 따라서 고양이 얼굴과 차와 같은 완전히 관련 없는 두 개념을 나타내지 않는다. 이는 중첩의 예시가 아니라는 의미이다.

그는 또한 “Zoom In”에서의 중첩 회로를 재해석한다. 그곳에서는 차량이 개의 뉴런들 사이에 숨겨져 있는 것처럼 보였다. 그의 관점에 따르면 이는 단순한 일반화일 뿐이며, 회로는 차량과 개가 카메라를 향하는 방향에 따라 그룹화될 뿐이다. 그는 InceptionV1의 후기 레이어에서 발생하는 혼란을 구식 아키텍처와 약한 분석 도구 때문이라고 비난한다.

캄마라타는 “재귀적 일반화”라고 부르는 패턴을 통해 남은 모호함을 설명한다. 그는 한 뉴런이 가지가 갈라져서 새로 십자가를 피우는 것처럼 성장한다고 말한다. “iy”라는 문자 시퀀스를 인식한 한 뉴런은 나중에 “diy”에 반응하고, 결국 “스스로 해보세요”에도 반응하는데, 이 경우 “iy”는 전혀 포함되어 있지 않다. 중첩과는 달리, 이러한 그룹화 방식으로 네트워크에 대해 무언가를 배울 수 있다.

언어 모델에 대해 그는 예비 수치를 제공합니다. Qwen3-32B에서는 약 90%의 뉴런 극이 하나의 주된 역할을 하고, 약 7%는 두 가지 관련된 역할을 합니다. 단지 2~4%만이 설명되지 않은 상태입니다. Goodfire는 수조 개의 파라미터를 가진 모델에서도 유사한 결과를 관찰했다고 말합니다. 뉴런을 대규모로 분석하는 AI 에이전트가 대부분의 작업을 수행했습니다. Cammarata는 Rich Sutton의 "Bitter Lesson"를 참고하여, 해석 가능성 측면에서도 대규모로 간단하게 조사하는 것이 영리한 분해 방법보다 더 효과적이라고 결론지었습니다.

카마라타는 근본적으로 새로운 방법을 제시하지 않는다. 그는 뉴런을 직접 연구하는 분야의 원래 접근법으로 돌아가며, 단지 더 나은 도구와 더 큰 모델, 그리고 자동화된 에이전트를 사용한다.

읽기 쉬운 네트워크는 AI 안전에 큰 이점이 될 것입니다

만약 카마라타의 말이 맞다면, 그건 좋은 소식이 될 것입니다. 특히 AI 안전에 있어서 말입니다. 현재로서는 점점 더 신뢰할 수 없어지는 사고 흐름을 모니터링하는 것 외에는 모델이 사람들을 속이고 있거나 위험한 방식으로 행동하고 있는지 판단할 방법이 거의 없습니다. 카마라타는 인공지능을 인간의 목표로 이끄는 작업인 정렬이 해석 가능성이 없이는 해결될 수 없다고 의심합니다. 그렇지 않으면 우리가 무엇을 만들고 있는지 알 수 없기 때문입니다. 그는 속임수가 모델 자체의 회로에서 숨겨져서는 안 된다고 썼습니다. 만약 인간이 네트워크의 또 다른 “독자”가 되면, 그들은 속임수도 볼 수 있고, 오류는 목표에 맞게 고쳐질 수 있을 것입니다.

Roon은 OpenAI 직원으로, X에서 그 가명으로 글을 올리는 인물이며 AI 업계에서 영향력 있는 목소리입니다. 그는 카마라타와 친한 친구이며, 그 없이는 OpenAI에 오지 못했을 것이라고 말했습니다. “이 연구는 과학사에서 중요한 순간으로 기억될 수 있을 것입니다.” Roon이 쓴 글입니다. 그는 이 소식이 너무 좋은 탓에, AI의 재앙을 경고하는 가장 유명한 인물 중 한 명인 엘리에저 유드코프스키조차도 위험 수치를 낮출 수밖에 없을 것이라고 덧붙였습니다. Roon의 관점에서, 알리언싱은 “정상적인 과학”이 될 수 있을 것입니다.

Roon도 약간의 우려를 가지고 있습니다. 업계의 다른 사람들은 아직 결과를 확인해야 하며, 그는 또한 해석 가능성의 획기적인 발전이 AI 능력을 더욱 발전시킬 것이라고 생각합니다. 이러한 발전이 외부에서 오는 것이 큰 연구소들, OpenAI를 포함한 연구소들에게는 좋지 않은 신호입니다.

난다는 유용한 도구를 보았지만 획기적인 발전은 아니었다

닐 난다는 훨씬 더 신중합니다. 그는 기계적 해석 가능성의 창시자 중 한 명으로 여겨지며 구글 딥마인드의 해석 가능성 팀을 이끌고 있습니다. 그전에는 안파니크에서 근무했으며 독립 연구원으로도 활동했습니다. 그의 견해는 변화했습니다. 2024년 중반부터 그는 야심찬 해석 가능성에 대해 더욱 비관적이 되었으며 실용적인 접근 방식을 선호하게 되었습니다. 그의 팀은 드문 자율인코더에 대한 연구를 우선순위에서 내렸습니다. 그들은 그 기술이 쓸모없다고 생각하지 않았지만, 연구팀이 들이는 노력에 비해 가치가 없는 것 같았습니다.

카마라타의 연구는 흥미롭지만 전체적인 상황을 실제로 바꾸지는 못한다. 나단이 쓴 글에 따르면, 뉴런 기반 분석은 모델이 왜 문제가 있는 행동을 하는지와 같은 실용적인 문제를 해결하는 데 도움이 될 수 있으며, 최신 모델에 적용하기도 훨씬 쉽다. 하지만 그는 해석 가능성이 완전히 해결되었다는 생각에는 동의하지 않는다. 그는 뉴런 기반 분석에 심각한 결함이 있고 많은 부분을 놓치고 있다고 예상한다.

난다는 여전히 준위성이 실제라고 생각한다. 그는 언어 모델이 뉴런보다 훨씬 많은 사실을 저장하고 있으며, 특히 약한 활성화가 그 정보의 대부분을 담고 있을 가능성이 높다고 주장한다. 그는 작은 이미지 모델에서 얻은 결과들이 다른 곳으로 전파된다는 점에 의문을 제기한다. 또한 그는 에세이가 단일의미성을 너무 넓게 정의하고 있다고 생각하지만, 카마라타가 자신의 오래된 연구를 현대적인 도구로 검토해준 점은 인정한다.

분쟁의 일부는 정의와 관련이 있습니다: 카마라타는 치수보다 더 많은 개념을 나타내는 모델에 대해 문제가 없으며, 난다도 그 점에 동의한다고 봅니다. 카마라타가 논쟁하는 것은 네트워크가 전혀 관련 없는 것들을 임의적으로 함께 묶는다는 것입니다.

기술 동반 논문은 아직 발표되지 않았습니다. 인터페이블리티 회사인 Goodfire도 이 논문에 분명한 이해관계가 있습니다. Cammarata의 연구 결과가 맞다면, 자동화된 연구원들은 인간이 이미지 모델을 만드는 데 거의 10년이 걸리는 작업을 몇 달 안에 해낼 수 있을 것입니다. 그는 그러한 시간이 거의 남지 않았다고 말합니다.

과장 없는 AI 뉴스 – 인간이 선별한 내용

THE DECODER에 가입하여 광고 없는 읽기, 주간 AI 뉴스레터, 매년 6회 발행되는 독점적인 "AI Radar" 전선 보고서, 전체 아카이브 접근 권한, 그리고 우리의 댓글 섹션에 접속하세요.

전체 내용은 여기에 있습니다.
흥분 없는 보도를 원한다면 구독하세요.

• THE DECODER의 모든 기사에 대한 전체 접근 권한
• 광고 없음
• 댓글과 커뮤니티 토론에 참여하세요
• 주간 AI 뉴스 요약 메일로 보내기
• 6회/년: “AI 레이더” — 가장 중요한 AI 주제에 대한 심층적인 탐구
• 일일 AI 뉴스, 항상 최신 정보
• 우리의 전체 10년간의 아카이브
• 10년 이상 AI 분야에서 일한 팀에 의해 담당됨