임베딩(Embedding) — '삽입'이라는 수학 개념이 AI의 핵심어가 된 이유
한줄 요약
“임베딩”은 수학의 위상수학 용어 — 한 공간을 다른 공간에 구조를 보존하며 삽입하는 것 — 이며, AI에서 단어를 벡터 공간에 삽입하는 과정을 정확히 묘사한다.
수학의 embedding — 공간을 다른 공간에 삽입
위상수학(topology)에서 embedding은 한 위상 공간을 다른 위상 공간에 보존적으로 삽입하는 함수다. “보존적으로”가 핵심이다 — 원래 공간의 구조(연결성, 거리 관계)가 삽입 후에도 유지된다.
직관적으로: 2차원 평면을 3차원 공간에 임베딩하면 평면의 기하학적 성질이 유지된다. 삽입된 평면 위의 두 점 사이의 거리와 각도는 원래와 같다.
AI의 임베딩도 정확히 이 개념이다 — 이산적인 단어(어휘)를 연속적인 벡터 공간에 삽입하되, 단어들 사이의 의미적 관계가 벡터 공간에서의 기하학적 관계로 보존된다.
Word2Vec 이전 — one-hot encoding의 한계
2013년 Word2Vec 이전에는 단어를 어떻게 수로 표현했을까. 가장 단순한 방법은 one-hot encoding이다. 어휘 사전에 10만 개의 단어가 있다면, 각 단어를 10만 차원의 벡터로 표현하는데 — 해당 단어 위치만 1이고 나머지는 모두 0.
이 방법의 문제: “의사”와 “의원”은 수학적으로 완전히 무관하다. 두 벡터의 내적은 0. 어떤 두 단어도 수학적으로 “가깝지” 않다. 단어 사이의 의미적 관계를 전혀 담지 못한다.
Word2Vec — 의미가 위치로
2013년 구글의 토마스 미코로프(Tomas Mikolov) 팀이 발표한 Word2Vec은 패러다임을 바꿨다. 단어를 300차원(혹은 그 이상) 벡터로 표현하는데 — 주변에 비슷한 단어들이 자주 등장하는 단어들은 비슷한 벡터 위치를 갖게 학습된다.
유명한 예: vec(“왕”) - vec(“남자”) + vec(“여자”) ≈ vec(“여왕”).
의미적 유사성이 공간적 거리로 변환됐다. 이것이 임베딩의 힘이다.
왜 이 이름인가
AI 연구자들이 이 과정을 “embedding”이라고 부른 이유는 수학적 정확성 때문이다. 단어들을 벡터 공간에 “삽입”하되, 의미 관계가 보존되는 방식으로 — 이것이 수학의 embedding과 정확히 같은 구조다.
“representation(표현)“이라는 단어도 쓰이지만 더 일반적이다. “projection(투영)“은 방향성을 암시해 정확하지 않다. “mapping(매핑)“도 쓰이지만 보존적 성질을 강조하지 않는다.
“embedding”은 보존적 삽입이라는 의미에서 가장 정확한 이름이다.
”고혈압”과 “HTN”이 같은 벡터 공간에
의료 텍스트로 학습된 임베딩 모델에서는 “고혈압”과 “HTN(hypertension의 약어)”, “혈압이 높다”가 서로 가까운 벡터 위치에 있다. 같은 임상 개념을 표현하는 다양한 표현들이 공간적으로 모인다.
이것이 의료 임베딩의 핵심 가치다. 의무 기록에서 “고혈압 환자를 찾아라”라고 하면 — “고혈압”, “HTN”, “혈압 조절 중”, “antihypertensive 복용” 등을 모두 포착할 수 있다.
한국어 번역 논쟁
“embedding”의 한국어 번역은 아직 표준이 없다.
임베딩: 발음 그대로. 개발자 커뮤니티에서 가장 많이 쓰인다.
내장(內藏): “안에 집어넣다”는 의미. 구조 보존의 의미가 약하다.
투영(投影): “projecting”에 더 가깝다. 수학적으로 부정확.
매립(埋立) / 삽입(挿入): 구어적으로는 어색하다.
결국 “임베딩”이 사실상 표준으로 굳어졌다. 수학적 정확성을 가진 번역이 마땅치 않아 원어 발음을 쓰는 결과가 됐다.
핵심 정리
- 수학의 embedding: 한 위상 공간을 다른 공간에 구조를 보존하며 삽입
- One-hot encoding의 한계: 단어 간 의미 관계를 전혀 담지 못함
- Word2Vec(2013): 의미적 유사성을 공간적 거리로 변환
- 의료 임베딩: “고혈압”, “HTN”, “혈압 높음”이 같은 공간에서 이웃
- 한국어 번역 없이 “임베딩”으로 사실상 표준화