트랜스포머는 거대한 메모장이다 — 선형층에서 어텐션까지, 기억 용량이 64개에서 120만 개로 늘어난 이유

Alex Wang이 쓴 글입니다. 트랜스포머를 이루는 부품 세 가지(선형층, MLP, 어텐션)가 모두 "비슷한 걸 단서로 기억을 꺼내는 저장소"라고 보고, 각 부품이 기억을 몇 개까지 담을 수 있는지 계산합니다.

• 모든 층은 기억 저장소다: 각 층은 '열쇠(단서)–값(내용)' 쌍을 저장해 두고, 질문과 비슷한 열쇠의 값을 꺼냅니다.
• 문제는 간섭: 기억이 많아질수록 꺼낼 때 다른 기억이 섞입니다. 섞인 잡음이 원래 기억만큼 커지는 지점을 그 저장소의 '용량'이라 부릅니다.
• 진화 순서: 선형층 → MLP → 어텐션으로 갈수록 잡음을 더 잘 누릅니다. 열쇠 크기 64 기준으로 용량이 약 64개 → 2,700개 → 120만 개로 늘어납니다 (저자 계산).

비유로 풀면

• 선형층은 노트 한 장에 메모를 계속 겹쳐 쓰는 것과 같습니다. 하나를 읽으려 해도 다른 메모 자국이 같이 보입니다. 단서와 별로 안 비슷한 메모까지 조금씩 끼어드는 게 문제입니다.
• MLP는 "확실히 관련된 메모만 크게 읽고, 애매한 건 거의 무시하는" 규칙을 더한 것입니다. 기사 예로는 관련도 0.1을 제곱하면 0.01로 줄고, 1은 그대로 1입니다.
• 어텐션은 이 규칙을 극단까지 밀어붙여, 가장 잘 맞는 메모가 압도적으로 이기게 만듭니다. 게다가 기억을 노트(가중치)에 새기지 않습니다. 지금 읽고 있는 글의 단어 하나하나를 그대로 기억 한 칸으로 씁니다. 외운 노트가 아니라 책상에 펼쳐둔 자료라서, 글이 길어질수록 기억 칸도 늘어납니다.

다만 이 숫자는 무작위로 만든 열쇠와 값으로 계산한 것이라, 실제 모델이 아는 지식의 양과는 다르다고 저자도 밝힙니다.

출처: Alex Wang, You could have invented transformers from memory

재현은 아닙니다. 뇌에서 아이디어를 빌려온 부분이 있고, 나중에 와서 뇌와 닮았다고 밝혀진 부분이 있습니다.

• 뇌에서 빌려온 부분: 기사 각주에 따르면, 메모를 겹쳐 쓰는 가장 단순한 저장 방식은 '헤브 학습'이라고도 불립니다. 신경과학의 "함께 발화하는 뉴런은 서로 연결이 강해진다"는 원리입니다.
• 나중에 연결된 부분: 기사가 관련 연구로 드는 홉필드 네트워크는 뇌의 연상 기억을 흉내 낸 1980년대 모델입니다. 이후 연구에서 이 모델을 개량한 버전의 수식이 어텐션과 사실상 같다는 게 밝혀졌습니다. 트랜스포머가 기억을 담당하는 뇌 부위(해마)의 신경 활동 패턴을 재현한다는 연구도 있습니다.

결정적으로 다른 점도 있습니다. 어텐션은 읽은 글의 단어를 하나도 빠뜨리지 않고 그대로 펼쳐두고 찾아봅니다. 사람은 대부분 잊고 요점만 남기죠. 비유하자면 뇌는 요약 노트, 어텐션은 원본 서류철에 가깝습니다.

기사 자체도 뇌를 설명하는 글은 아닙니다. 저자는 맺음말에서 "기계가 어떻게 기억하는지 이해하면 나 자신에 대해서도 뭔가 배울 수 있지 않을까" 하는 바람을 밝히는 정도입니다.

출처: Ramsauer et al., Hopfield Networks is All You Need · Whittington et al., ICLR 2022