환각 억제 프롬프트 — AI가 없는 정보를 지어내지 않게 하는 법
…
한줄 요약
AI 환각을 완전히 없앨 수는 없지만, 프롬프트 설계로 크게 줄일 수 있다 — “모르면 모른다고 해라”를 명시적으로 요청하는 것이 핵심이다.
본문
의료에서 환각이 위험한 이유
일반 분야에서 AI가 가수의 생년월일을 틀리게 말하는 건 소소한 오류다. 하지만 의료에서는:
- 존재하지 않는 논문을 실제 저널에 실린 것처럼 인용
- 약물 용량을 잘못 기술 (예: 소아 용량을 성인에 적용)
- 상호작용이 없는 약물을 ‘심각한 상호작용 있음’으로 오기술
- 단종된 치료법을 현재 표준으로 제시
이런 오류를 AI가 자신감 있게, 유창하게 말한다. 문체가 설득력 있어 더 위험하다.
환각 유발 고위험 상황
| 상황 | 위험 | 대응 |
|---|---|---|
| 특정 논문 인용 요청 | 없는 논문 날조 | 인용 대신 주제로 검색 |
| 최신 가이드라인 질문 | 구버전 또는 혼합 제시 | 연도·학회 명시 요구 |
| 희귀 질환 정보 | 학습 데이터 부족 → 추측 | ”불확실하면 모른다고” 명시 |
| 소아·임산부 용량 | 일반 용량 적용 오류 | 대상 집단 강조 + 검증 요구 |
| 한국 보험급여 기준 | 미국·유럽 기준 혼용 | ”한국 심평원 기준” 명시 |
환각 억제 프롬프트 기법 5가지
- “모르면 모른다고 해라”
가장 기본적이고 효과적인 방법.
답을 확신할 수 없는 경우 "확실하지 않습니다"라고 명시해 주세요.
추측은 괜찮지만, 추측임을 반드시 표시해 주세요.- 출처 명시 요구
모든 수치와 가이드라인은 출처(학회명, 연도)를 함께 적어 주세요.
출처를 모르는 내용은 "출처 불명"으로 표시해 주세요.주의: AI가 출처를 날조하는 경우가 있다. 출처를 받았다고 해서 그냥 믿지 말고, PubMed나 공식 가이드라인으로 반드시 검증할 것.
- 자기 검토 (Self-verification)
답변 후 다음을 점검해 주세요:
- 수치가 일반적으로 알려진 범위 내에 있는가?
- 인용한 가이드라인이 실제 존재하는가?
- 이 내용에 대한 확신도는 어느 정도인가? (높음/중간/낮음)- 범위 제한
AI가 아는 범위만 답하게 제한하면 환각이 줄어든다.
당신이 높은 확신도로 아는 내용만 답해 주세요.
불확실한 부분은 답변에 포함하지 말고 "추가 확인 필요" 항목으로 별도 표시해 주세요.- 반대 검토 요청
방금 답변에서 틀릴 수 있는 부분을 스스로 찾아서 알려주세요.CoT와 결합하면 강력하다 — AI가 자신의 추론에서 약점을 찾게 만든다.
실전: 약물 용량 확인 프롬프트
환각 위험이 가장 높은 영역 중 하나가 약물 정보다.
당신은 임상약리학 전문가입니다.
다음 약물의 정보를 알려주세요. 단, 아래 규칙을 반드시 지켜주세요:
1. 용량은 공인된 처방 정보(식약처 허가사항 또는 Micromedex 기준) 범위로만 제공
2. 특수 집단(소아, 임산부, 신기능 저하) 용량 조절은 별도 명시
3. 확실하지 않은 정보는 "확인 필요"로 표시
4. 논문 인용은 하지 않음 (Uptodate 또는 가이드라인만 언급)
약물: [약물명]
환자: [환자 정보]환각을 잡는 후처리 전략
프롬프트 외에, 답변을 받은 후에도 환각을 걸러낼 수 있다.
방금 답변에서 다음을 확인해 주세요:
1. 수치(용량, 수치 범위)가 포함된 모든 항목
2. 특정 논문/연구 인용
3. "~년 가이드라인에 따르면"으로 시작하는 주장
각 항목에 대해 확신도를 (높음/중간/낮음)으로 표시해 주세요.
낮음으로 표시된 항목은 답변에서 제거하거나 별도로 표시해 주세요.절대 AI에만 의존하면 안 되는 영역
아무리 좋은 프롬프트를 써도, 다음 영역은 반드시 공식 자료로 교차 검증해야 한다:
- 소아 약물 용량 — 체중 기반 계산이 틀릴 수 있다
- 임산부 금기 약물 — FDA 카테고리 변경 사항
- 최신 가이드라인 (1년 이내) — AI 학습 데이터 컷오프 이후 변경
- 한국 건강보험 급여 기준 — 외국 기준과 다르다
- 희귀 질환 치료 — 학습 데이터 자체가 부족
핵심 정리
- 환각 억제의 핵심: “모르면 모른다고 해라”를 프롬프트에 명시
- 출처를 요구하되, 출처도 반드시 검증할 것 (AI가 출처를 날조하기도 한다)
- 수치·용량·가이드라인은 AI 답변 후 반드시 공식 자료 교차 확인