스케일링 법칙 — 모델을 크게 만들수록 왜 똑똑해지는가
한줄 요약
2020년 Kaplan et al.이 발견한 스케일링 법칙은 “더 크게 만들면 더 좋아진다”는 예측 가능한 공식을 제시했고, 이것이 GPT-3에서 GPT-4까지 파라미터 경쟁을 정당화했다.
스케일링 법칙이란 무엇인가
2020년 1월, OpenAI의 Jared Kaplan 등이 “Scaling Laws for Neural Language Models”을 발표했다. 핵심 주장은 다음과 같았다.
“언어 모델의 성능은 모델 크기(파라미터), 훈련 데이터 양, 연산량(compute)에 따라 거듭제곱 법칙(power law)으로 향상된다.”
쉽게 말하면 이렇다. 모델을 10배 크게 만들면, 성능이 일정한 비율로 향상된다. 100배 크게 만들면, 다시 그 비율만큼. 이 관계가 예측 가능하게 유지된다.
이것이 왜 중요했는가. 이전까지 딥러닝 연구는 “더 크게 만들면 좋아지겠지, 아마도”라는 직관에 의존했다. 스케일링 법칙은 이것을 정량적 예측으로 바꿨다.
GPT-3는 이 논문의 직접적 산물이었다
Kaplan et al.의 논문은 2020년 1월에 발표됐고, GPT-3는 2020년 5월에 공개됐다. 우연이 아니었다.
OpenAI는 스케일링 법칙의 예측을 믿고 175B 파라미터라는 당시 전례 없는 규모에 자원을 투입했다. “이만큼 크게 만들면, 이 정도 성능이 나올 것”이라는 계산이 있었다.
GPT-3는 그 계산을 실증했다. few-shot learning이라는 예상치 못한 능력까지 덤으로.
파라미터 경쟁의 시작
스케일링 법칙이 확인되자 빅테크들은 경쟁적으로 모델 크기를 키웠다.
| 모델 | 회사 | 발표 연도 | 파라미터 |
|---|---|---|---|
| GPT-3 | OpenAI | 2020 | 175B |
| Gopher | DeepMind | 2021 | 280B |
| Megatron-Turing NLG | Microsoft·NVIDIA | 2021 | 530B |
| PaLM | 2022 | 540B |
단 2년 만에 파라미터가 3배로 늘었다. 훈련 비용도 함께 폭증했다.
Chinchilla 법칙 — “크기보다 데이터”
2022년 3월, DeepMind의 Jordan Hoffmann 등이 “Training Compute-Optimal Large Language Models”을 발표했다. 이른바 “Chinchilla 논문”이다.
결론은 충격적이었다.
“파라미터 수와 훈련 데이터 양은 동등하게 증가시켜야 한다. 지금까지의 대형 모델들은 충분한 데이터 없이 파라미터만 키웠다.”
실증 사례: 70B 파라미터 Chinchilla 모델이, 4배 큰 280B Gopher보다 대부분의 벤치마크에서 우수했다. 훈련 데이터를 4배 더 사용했기 때문에.
이 논문은 단순히 “데이터가 중요하다”는 이야기가 아니었다. “지금까지 우리는 모두 잘못된 방식으로 스케일링하고 있었다”는 교정이었다.
창발적 능력 — 예측 불가능한 도약
스케일링 법칙은 대체로 예측 가능한 향상을 설명하지만, 예외가 있다.
2022년 Google Brain의 Wei et al.은 “Emergent Abilities of Large Language Models”을 발표했다. 특정 규모를 넘어서면 갑자기 새로운 능력이 나타난다는 관찰이었다.
예시들:
- 다단계 수학 추론: 소형 모델에서는 거의 0%, 대형 모델에서는 갑자기 60% 이상
- 여러 단계의 논리 추론: 규모가 일정 수준을 넘는 순간 급격히 향상
이것을 창발(emergence)이라 불렀다. 양적 변화가 질적 변화를 일으키는 현상이었다.
스케일링의 한계 논쟁 (2024~)
2024년부터 “스케일링 법칙이 한계에 다가오고 있다”는 논쟁이 시작됐다.
주요 논거들:
- 인터넷상의 고품질 텍스트 데이터가 이미 상당 부분 소진됐다
- 동일한 컴퓨팅 투자 대비 성능 향상 폭이 줄어들고 있다
- 반론: 합성 데이터(AI가 생성한 훈련 데이터)로 데이터 부족을 해결할 수 있다
아직 결론은 없다. GPT-o1, o3의 등장은 “파라미터 스케일링”이 아닌 “추론 시간 스케일링(test-time compute)“이라는 새로운 방향을 열어놨다.
의료 AI에서의 함의
스케일링 법칙은 의료 AI 전략에도 직접 영향을 미친다.
범용 대형 모델 (GPT-4, Claude 등): 충분히 크면 의료 지식도 포함된다. 추가 훈련 없이도 상당한 성능. 그러나 환자 데이터 프라이버시, 비용, 할루시네이션 위험.
의료 특화 소형 모델 (Med-PaLM, BioMistral 등): 의료 데이터로 특화 훈련. 더 작고, 더 저렴하고, 더 통제 가능. 그러나 일반화 능력 제한.
Chinchilla 논문의 교훈을 빌리면 — 크기만이 답이 아니다. 어떤 데이터로, 어떻게 훈련하느냐가 의료 맥락에서는 더 중요할 수 있다.
핵심 정리
- Kaplan et al.(2020): 성능은 파라미터·데이터·연산량에 따라 예측 가능하게 향상
- 스케일링 법칙이 GPT-3(175B) 개발의 이론적 근거
- 2020~2022년 파라미터 경쟁: GPT-3 175B → PaLM 540B
- Chinchilla(2022): “크기보다 데이터” — 70B + 충분한 데이터 > 280B + 적은 데이터
- 창발적 능력: 일정 규모를 넘으면 갑자기 새로운 능력이 출현
- 2024~: 스케일링 한계 논쟁, 추론 시간 스케일링이라는 새 방향 등장
- 의료 AI: 특화 소형 모델 vs 범용 대형 모델의 선택이 핵심 전략 문제