역전파의 재발견 — Hinton이 AI를 다시 살린 방법
한줄 요약
역전파는 1974년에 이미 발명됐지만 아무도 몰랐다 — 힌턴이 1986년 이를 세상에 알리기까지 12년이 걸렸고, 그 사이 AI 겨울이 왔다 갔다.
신경망의 근본 문제
1969년 민스키의 《Perceptrons》 이후 신경망 연구는 얼어붙었다. 문제는 명확했다: 다층 신경망은 이론적으로 XOR 같은 비선형 문제를 풀 수 있다. 그러나 그것을 어떻게 학습시키는가를 아는 사람이 없었다.
단층 퍼셉트론의 학습 규칙은 간단하다: 출력이 틀리면 가중치를 조금 수정한다. 그런데 여러 층이 쌓이면 중간 층(hidden layer)의 가중치를 어떻게 수정해야 하는가? 최종 출력의 오류를 중간 층까지 어떻게 “전달”하는가?
이것이 역전파(Backpropagation)가 해결한 문제였다.
폴 워보스: 잊혀진 최초 발명자
1974년, 하버드 대학교의 박사과정생 폴 워보스(Paul Werbos)는 자신의 박사 논문 《Beyond Regression》에서 역전파 알고리즘을 처음으로 수학적으로 서술했다.
그러나 이 논문은 거의 읽히지 않았다. 당시는 1차 AI 겨울이 시작되던 시점이었고, 신경망 연구 자체가 금기에 가까운 분위기였다. 워보스는 자신의 발견이 주목받지 못함에 좌절하며 훗날 이렇게 회상했다:
“그것은 심리적으로 매우 힘든 시간이었다. 나는 중요한 것을 발견했다고 확신했지만, 아무도 귀 기울이지 않았다.”
1986년: 역전파의 재발견과 공식화
1986년 10월 9일, 제프리 힌턴(Geoffrey Hinton), 데이비드 루멜하트(David Rumelhart), 로널드 윌리엄스(Ronald Williams)는 《Nature》에 논문을 발표했다:
“Learning representations by back-propagating errors”
이 논문은 역전파를 처음 발명한 것이 아니었다. 하지만 다음을 해낸 논문이었다:
- 알고리즘을 명확하고 이해하기 쉬운 방식으로 서술했다.
- 실제 문제에 적용해 작동한다는 것을 보여줬다.
- 《Nature》라는 최고 저널에 실려 광범위하게 읽혔다.
논문의 핵심 직관은 이랬다: 오류 신호를 출력층에서 입력층 방향으로 거꾸로 전파하면서, 각 가중치가 오류에 얼마나 기여했는지 계산할 수 있다. 미적분의 연쇄법칙(chain rule)이 수학적 토대였다.
역전파가 해결한 것
힌턴 팀의 논문은 즉각적인 흥분을 낳았다. XOR 문제는 간단히 해결됐다. 더 나아가:
- 다층 신경망이 복잡한 패턴을 학습할 수 있음을 보였다.
- 각 층이 점점 더 추상적인 특징을 학습한다는 것을 시각화했다.
- 언어, 이미지, 음성 등 다양한 문제에 적용 가능성을 열었다.
역전파가 남긴 문제: 기울기 소실
그러나 역전파는 완전한 해결책이 아니었다. 층이 깊어질수록 오류 신호가 역방향으로 전파될 때 점점 작아졌다. 10층, 20층이 넘어가면 초기 층의 가중치가 사실상 업데이트되지 않았다. 이를 기울기 소실(Vanishing Gradient) 문제라고 한다.
1990년대 내내 이 문제 때문에 깊은 신경망은 훈련하기 어려웠다. “신경망은 2–3층이 한계”라는 통념이 생겼다.
이 문제는 2000년대 힌턴의 딥 빌리프 네트워크(2006)와 ReLU 활성화 함수의 등장으로 점차 극복됐다.
힌턴이 30년을 버틴 이유
제프리 힌턴은 1970년대부터 신경망을 연구했다. 2차 AI 겨울이 오고 신경망이 다시 죽은 시간에도 그는 멈추지 않았다. 그는 훗날 이렇게 말했다:
“나는 뇌가 어떻게 작동하는지 알고 싶었다. 그 관심이 AI가 유행인지 아닌지보다 더 중요했다.”
그는 심지어 연구비를 받기 위해 논문 제목에서 “neural network”라는 단어를 빼기도 했다. AI 겨울에는 그 단어만으로 게재를 거부당했기 때문이다.
힌턴은 2024년 노벨 물리학상을 수상했다. 수상 소감에서 그는 이렇게 말했다:
“나는 내가 옳다는 것을 알았다. 다만 증명하는 데 시간이 좀 걸렸을 뿐이다.”
핵심 정리
- 역전파 알고리즘은 1974년 폴 워보스가 처음 발명했지만 AI 겨울에 묻혔다.
- 1986년 힌턴·루멜하트·윌리엄스의 《Nature》 논문이 역전파를 재발견·공식화하며 신경망 연구를 부활시켰다.
- 역전파는 다층 신경망 학습 문제를 해결했으나, 기울기 소실이라는 새로운 문제를 남겼다.
- 힌턴은 2차 AI 겨울에도 연구를 지속해 2024년 노벨 물리학상을 수상했다.