AI 속은 원래 깔끔했다? '고양이+자동차' 뉴런의 진짜 정체

이번 글은 AI 해석 가능성(interpretability) 분야의 통념에 정면으로 반박하는 에세이입니다. Goodfire의 Nick Cammarata가 썼습니다.

• 배경: 지금까지 이 분야에서는 뉴런 하나가 서로 무관한 개념 여러 개를 섞어 담는다고 봤습니다(다의성). 모델이 차원보다 많은 특징을 억지로 구겨 넣기 때문이라는 설명이었습니다(중첩, superposition). 그래서 뉴런을 직접 보지 않고 SAE(희소 오토인코더) 같은 도구로 "진짜 특징"을 뽑아내는 쪽이 주류가 됐습니다.
• 저자의 주장: 그 증거들은 대부분 잘못 읽은 것이라고 합니다. 유명한 "고양이 + 자동차" 뉴런은 사실 뾰족한 V자 모양에 반응하는 뉴런이었습니다. "자동차가 개 속에 숨어 있다"던 회로는 **같은 자세(pose)**로 묶인 것이었습니다. 무관해 보이는 조합은 대부분 비슷한 것을 따라 가지를 뻗어 나가는 "재귀적 일반화"였다는 겁니다.
• 근거: InceptionV1 마지막 층의 해석 가능한 뉴런 비율이 도구와 학습 방식만 바꿨는데 5% → 50% → 70%로 올랐습니다. 같은 크기의 ConvNeXt에서는 99%였습니다. 뉴런을 480개에서 10개로 줄여 중첩을 강제해 봐도, 뉴런은 개념이 섞이는 대신 더 거칠어졌을 뿐입니다. Qwen3-32B에서도 뉴런 극의 약 90%가 하나의 주요 역할을 가졌다고 합니다.
• 결론: 신경망은 원래 깨끗했고, 현미경(도구)이 덜 맞춰져 있었을 뿐이라는 겁니다. 영리한 분해 기법을 새로 만들기보다 뉴런을 직접 보는 평범한 조사를 대규모로 하는 게 낫다는 주장입니다. 저자 스스로 "비공식적인 작업 가설"이라고 단서를 달았습니다.

한 문장으로 줄이면 이렇습니다. "AI 속이 뒤죽박죽인 줄 알았는데, 사실은 우리 돋보기가 흐렸던 것이다." 차근차근 풀어 볼게요.

1. AI 안의 "뉴런"은 작은 감지기예요

이미지를 알아보는 AI 안에는 수천 개의 작은 감지기가 있습니다. 감지기마다 특정한 것을 보면 불이 켜집니다. "동그라미 감지기", "강아지 귀 감지기" 같은 식이죠.

연구자들은 감지기마다 무엇에 불이 켜지는지 알아내려고 합니다. 그걸 알면 AI가 왜 그런 판단을 했는지 속을 들여다볼 수 있으니까요.

2. 그런데 이상한 감지기들이 있었어요

어떤 감지기는 고양이 얼굴에도 켜지고 자동차 앞모습에도 켜졌습니다. 고양이와 자동차는 아무 상관이 없잖아요?

그래서 연구자들은 이렇게 생각했습니다.

"AI가 배워야 할 건 많은데 감지기 수가 모자라서, 서로 상관없는 것들을 한 감지기에 억지로 쑤셔 넣었구나."

서랍이 모자라서 양말과 숟가락을 한 서랍에 같이 넣은 상황이라고 본 겁니다. 이걸 **중첩(superposition)**이라고 부릅니다.

그래서 이 뒤죽박죽 서랍을 다시 분류해 주는 **정리 도구(SAE)**를 따로 만들어 쓰는 게 대세가 됐습니다.

3. 이 글의 주장: 뒤죽박죽이 아니었다

저자가 다시 들여다보니, 그 감지기는 "뾰족한 V자 모양" 감지기였습니다. 고양이 귀와 얼굴선, 자동차 앞부분, 불꽃, 여우 주둥이가 다 뾰족하죠. 고양이와 자동차가 섞인 게 아니라, 공통점 하나에 반응하고 있었던 겁니다.

비유하면 이렇습니다. 남의 서랍을 열었더니 열쇠, 동전, 이어폰, 마스크가 들어 있습니다. 처음엔 잡동사니 서랍처럼 보이죠. 그런데 사실은 "외출할 때 챙기는 것" 서랍이었던 거예요. 분류 기준을 몰랐을 뿐, 서랍은 잘 정리돼 있었습니다.

4. 그럼 왜 그동안 오해했을까요?

• 돋보기가 흐렸다: 감지기가 무엇에 반응하는지 보여 주는 분석 도구가 예전엔 부정확했습니다.
• 옛날 AI가 덜 정돈돼 있었다: 요즘 AI는 설계가 좋아져서 내부가 훨씬 깔끔합니다.

실제로 같은 종류의 AI에서 "무엇을 감지하는지 설명되는 감지기" 비율이 이렇게 올랐습니다.

조건	설명되는 비율
옛날 도구로 봤을 때	약 5%
도구만 좋게 바꿨을 때	약 50%
AI를 요즘 방식으로 다시 학습시켰을 때	약 70%
같은 크기의 최신 구조 AI	약 99%

AI가 바뀐 게 아니라, 보는 방법과 만드는 방법이 좋아지니 원래 깔끔했던 게 드러난 거죠.

5. "가지 뻗기"로 연결된 개념들

말이 안 돼 보이는 조합 중 상당수는 연상 작용처럼 가지를 뻗어 나간 것이었습니다. 예를 들어 글자 "iy"에 반응하는 감지기가 있습니다.

"iy" → "Miyazaki"(iy가 들어 있음) → "diy" → "do it yourself"(더 이상 iy는 없음)

끝만 보면 "iy 감지기가 왜 '직접 만들기'에 반응해?" 싶습니다. 그런데 중간 과정을 따라가면 자연스러운 연결이죠. 저자는 이걸 재귀적 일반화라고 부릅니다.

6. 이게 왜 중요할까요?

저자 말이 맞다면 별도의 번역기(정리 도구) 없이 AI 속을 직접 읽을 수 있다는 뜻입니다. 실제로 저자는 대형 언어 모델에서 감지기 몇 개만 꺼서 AI의 답을 원하는 방향으로 바꾸는 데 성공했습니다. AI가 왜 그렇게 답했는지 이해하고 잘못된 행동을 고치는 일이 생각보다 쉬워질 수 있다는 좋은 소식입니다.

다만 저자 스스로 **"아직은 가설"**이라고 말합니다. 표본이 작은 관찰이 많고, 아주 큰 AI에서는 아직 다 확인하지 못했습니다.