LLM — Large Language Model에서 '대형'과 '언어'가 의미하는 것
한줄 요약
LLM은 “다음 단어 확률”을 계산하는 언어 모델이 아주 커진 것이다 — “Large”와 “Language” 두 단어 모두 생각보다 깊은 뜻을 담고 있다.
언어 모델의 역사: 다음 단어 확률이라는 오래된 아이디어
언어 모델(Language Model)의 핵심 아이디어는 오래되었다.
1948년 Claude Shannon은 정보이론(information theory) 논문에서 문자와 단어의 확률 분포를 수학적으로 다루었다. “영어 텍스트에서 ‘q’ 다음에 ‘u’가 올 확률은 얼마인가?” 이것이 언어 모델의 시초다.
1990~2000년대에는 n-gram 모델이 주류였다. n개의 단어 시퀀스를 기반으로 다음 단어의 확률을 계산하는 방식이다. 예를 들어 “오늘 날씨가” 다음에는 “좋다”, “흐리다”, “더운 것 같습니다” 같은 단어들이 높은 확률로 오는 것을 통계적으로 학습한다.
2013년 Word2Vec, 2017년 Transformer, 2018년 BERT와 GPT-1이 등장하면서 신경망 언어 모델이 n-gram을 완전히 대체했다.
”Language Model”이란 정확히 무엇인가
기술적 정의는 간결하다.
언어 모델 = 텍스트 시퀀스에 확률을 할당하는 모델
더 구체적으로는, 이전 단어들이 주어졌을 때 다음 단어의 조건부 확률 분포를 학습하는 모델이다.
P("서울은") = 0.02
P("서울은 대한민국의") = 0.009
P("서울은 대한민국의 수도") = 0.007
P("서울은 대한민국의 수도입니다") = 0.006이 확률들을 학습해두면, 새로운 텍스트를 생성할 때 가장 자연스러운 다음 단어를 선택할 수 있다. GPT-4가 문장을 생성하는 원리가 바로 이것이다 — 물론 훨씬 정교한 방식으로.
왜 이 이름인가: “Large”의 기준은 없다
“LLM”에서 Large는 얼마나 커야 Large인가? 공식 기준은 존재하지 않는다.
- GPT-2(2019): 15억 파라미터 — 당시 “대형”
- GPT-3(2020): 1,750억 파라미터 — “역대 최대”
- LLaMA-3(2024): 700억~4,050억 파라미터
- GPT-4(2023): 추정 1조 파라미터 이상 (비공개)
2020년에 “Large”였던 GPT-2는 2024년 기준으로는 소형 모델에 불과하다. “Large”는 상대적이고 시대에 따라 달라지는 기준이다.
커뮤니티에서 비공식적으로는 1B(10억) 파라미터 이상을 LLM으로 분류하는 경향이 있지만, 이것도 불문율에 불과하다.
”Foundation Model”이라는 더 정확한 대안 용어
2021년 스탠퍼드 HAI(인간중심 AI연구소)는 Bommasani 등이 발표한 논문 “On the Opportunities and Risks of Foundation Models”에서 Foundation Model이라는 용어를 제안했다.
Foundation Model의 특징:
- 대규모 데이터로 사전 학습(pre-training)
- 다양한 downstream 작업에 파인튜닝(fine-tuning) 또는 프롬프팅으로 활용 가능
- 언어에 국한되지 않음 — 이미지, 오디오, 코드 모두 포함
왜 “LLM”보다 Foundation Model이 더 정확한가:
GPT-4는 텍스트만 처리하지 않는다. 이미지도 이해하고, 코드도 생성하며, 수학 증명도 한다. “Language” Model이라는 이름은 이 범위를 담지 못한다. Foundation Model이라는 용어는 “다양한 응용의 기반(foundation)이 되는 모델”이라는 의미로 더 포괄적이다.
주요 모델명 네이밍 패턴 분석
| 모델 | 이름 의미 | 네이밍 전략 |
|---|---|---|
| GPT | Generative Pre-trained Transformer | 기술 스펙 나열 |
| BERT | Bidirectional Encoder Representations from Transformers | 기술 스펙 + 약어 친화성 |
| LLaMA | Large Language Model Meta AI | 회사명 포함 + 동물 이미지 |
| Claude | 고유명사 (사람 이름) | 인격화 전략 |
| Gemini | 쌍둥이자리 | 멀티모달(두 가지) 암시 |
GPT 계열은 기술적 정확성을 우선시한 반면, Claude나 Gemini는 브랜드 인격화 전략을 택했다. 이 차이가 사용자가 AI를 어떻게 인식하는지에도 영향을 미친다.
”거대 언어 모델” vs “대형 언어 모델” — 한국어 표준화 논쟁
한국어 번역에서도 혼란이 있다.
- 거대 언어 모델: “Large = 거대”로 번역. 규모의 압도적 느낌 강조.
- 대형 언어 모델: “Large = 대형”으로 번역. 더 중립적.
- 초거대 AI: 삼성, LG, 카카오 등 국내 기업들이 자사 모델에 사용한 마케팅 용어.
국립국어원은 아직 공식 권고안을 확정하지 않았다. 학술 논문에서는 “대규모 언어 모델”이 자주 쓰인다. 언론과 대중에서는 “거대 언어 모델”이 더 많이 통용된다.
LLM이 일반 대중에게 어려운 이유와 대안 설명
“LLM”이라는 약어는 전문가에게는 편리하지만 일반인에게는 세 개의 영단어 약자다. 임상 현장에서 환자나 비전문가에게 설명할 때는 다른 접근이 필요하다.
대안적 설명 방식:
- “인터넷에 있는 엄청난 양의 글을 읽고 언어 패턴을 학습한 AI입니다”
- “다음에 올 가장 자연스러운 단어를 예측하도록 훈련된 대형 프로그램입니다”
- “수백조 개의 단어 관계를 기억하는 통계 엔진입니다”
의료 커뮤니케이션에서 중요한 것은 기술 용어의 정확성보다 이해 가능성이다.
핵심 정리
- 언어 모델의 본질은 “다음 단어 확률 분포”를 학습하는 것이며, 아이디어는 1948년까지 거슬러 올라간다
- “Large”의 공식 기준은 없으며, 시대에 따라 상대적으로 변한다
- “Foundation Model”은 LLM보다 더 정확한 용어이나, LLM이라는 약어가 이미 대중화되었다
- 한국어 번역 표준은 아직 확정되지 않았다
- 환자와 대화할 때는 약어보다 의미 중심의 풀어쓰기가 더 효과적이다