Context Mar 30, 2026

컨텍스트 윈도우 전략 — 제한된 공간을 최대로 쓰는 법

…

한줄 요약

컨텍스트 윈도우는 AI의 단기 기억이다 — 128K 토큰이 많아 보여도 EMR + 가이드라인 + 대화를 합치면 금방 찬다. 무엇을 넣고 뺄지가 핵심 전략이다.

본문

컨텍스트 윈도우 현황 (2026년 기준)

모델	컨텍스트 윈도우	한국어 기준 약
GPT-4o	128K 토큰	A4 약 80~100페이지
Claude 3.5 Sonnet	200K 토큰	A4 약 120~150페이지
Gemini 1.5 Pro	1M 토큰	A4 약 600페이지

넓어 보이지만, 의료 데이터는 양이 많다. 환자 1명의 5년간 EMR 기록만 해도 수십 페이지다.

”Lost in the Middle” 문제

컨텍스트 윈도우가 크다고 전부 활용되는 것은 아니다. 연구에 따르면 LLM은 컨텍스트의 앞부분과 뒷부분을 잘 참조하지만, 중간에 있는 정보는 놓치는 경향이 있다.

이를 “Lost in the Middle” 현상이라고 한다.

의료에서의 의미: 가이드라인 전문을 통째로 넣으면 AI가 중간 부분의 중요한 단서를 무시할 수 있다. 해당 섹션만 발췌해서 앞쪽에 배치하는 것이 유리하다.

컨텍스트 예산 분배 전략

128K 토큰이 있다면 어떻게 분배할까?

권장 비율

구성 요소	비율	역할
시스템 프롬프트	5~10%	AI 정체성·규칙
참조 문서 (가이드라인 등)	30~40%	근거 자료
환자 데이터	20~30%	현재 환자 정보
대화 이력	15~20%	이전 맥락 유지
현재 프롬프트 + 출력 여유	10~15%	질문과 답변 공간

4가지 핵심 전략

선택적 포함 (Selective Inclusion)

모든 정보를 넣지 말고, 현재 질문에 관련된 것만 넣는다.

❌ 고혈압 가이드라인 전문 (50페이지)
✅ 해당 환자 조건에 맞는 섹션만 발췌 (2~3페이지)

요약 후 삽입 (Summarize-then-Insert)

긴 문서를 먼저 요약하고, 요약본을 컨텍스트에 넣는다.

[1단계] "이 가이드라인의 CKD 환자 관련 섹션을 3줄로 요약해줘"
[2단계] 요약 결과를 다음 프롬프트의 컨텍스트로 사용

계층적 배치 (Hierarchical Placement)

가장 중요한 정보를 앞과 뒤에 배치하고, 부수적 정보를 중간에 둔다.

[앞] 시스템 프롬프트 + 핵심 환자 정보
[중간] 참고 가이드라인, 이전 대화 요약
[뒤] 현재 질문 (프롬프트)

점진적 공개 (Progressive Disclosure)

한 번에 모든 정보를 넣지 않고, 필요한 시점에 추가한다.

턴 1: 기본 환자 정보 + 주요 질문
턴 2: 검사 결과 추가
턴 3: 관련 가이드라인 추가

의료 실전: EMR 데이터 정리

EMR에서 추출한 데이터를 AI에 넣을 때, 원본 그대로 넣지 않는다.

Before (원본)

2026-01-15 외래: BP 142/88, 체중 78.2kg, 복약 순응도 확인, Losartan 50mg 유지...
2026-02-12 외래: BP 138/85, 체중 77.8kg, 전화 상담, Losartan 50mg 유지...
2026-03-10 외래: BP 155/95, 체중 79.1kg, 두통 호소, Losartan 100mg으로 증량...
(... 20개 방문 기록)

After (구조화 요약)

[환자 요약]
진단: 고혈압 (2024년~), 복용: Losartan 100mg (3월 증량)
최근 3회 BP: 155/95 → 138/85 → 142/88
체중 추이: 78~79kg, BMI 27.2
특이사항: 3월 두통 호소로 증량, 생활습관 교정 순응도 낮음

20개 방문 기록을 5줄로 요약하면 토큰을 90% 절약하면서 핵심 정보는 보존된다.

토큰 절약 팁

방법	절약률	예시
불필요한 반복 제거	20~30%	“혈압” 대신 약어 “BP” 사용
표 형식 → 핵심 항목만	40~50%	20줄 서술 → 5줄 표
요약 후 삽입	60~80%	가이드라인 전문 → 관련 섹션만
메타데이터 제거	10~20%	진료일시·의사명 등 불필요한 필드 삭제

윈도우 초과 시 대처

대화가 길어져 컨텍스트 윈도우가 찰 때:

이전 대화 요약 요청: “지금까지 논의 내용을 5줄로 요약해줘”
새 세션 시작: 요약본을 첫 메시지에 붙여넣고 이어가기
RAG 활용: 긴 문서는 별도 저장소에 두고 관련 부분만 검색·삽입

핵심 정리

컨텍스트 윈도우 = AI의 단기 기억. 유한하다
“Lost in the Middle” 때문에 중요 정보는 앞·뒤에 배치
EMR 데이터는 요약·구조화 후 삽입해야 토큰 낭비 방지
4가지 전략: 선택적 포함, 요약 후 삽입, 계층적 배치, 점진적 공개

#컨텍스트윈도우#토큰#LLM#의료AI#전략