프롬프트 테스트와 평가 — 좋은 프롬프트를 과학적으로 검증하는 법
…
한줄 요약
프롬프트는 과학 실험처럼 테스트해야 한다 — “이게 더 좋은 것 같은데”가 아니라 동일 케이스로 A/B를 비교하고 기준을 정해 점수를 매겨야 진짜 좋은 프롬프트를 고를 수 있다.
본문
왜 프롬프트를 테스트해야 하는가
많은 의사가 프롬프트를 한번 써보고 “괜찮네” 또는 “별로네”로 판단한다. 그러나:
- 같은 프롬프트도 케이스에 따라 성능이 다르다
- 첫인상이 좋은 프롬프트가 반복 사용 시 문제를 드러내기도 한다
- 두 프롬프트 중 어느 게 나은지 비교하지 않으면 개선 방향을 모른다
프롬프트 개발은 가설 → 실험 → 측정 → 개선 사이클로 접근해야 한다.
A/B 테스트 설계
동일한 케이스 집합에 두 가지 프롬프트를 적용해 결과를 비교한다.
테스트 케이스 준비
테스트용 케이스 10개를 선정해줘.
조건:
- 가정의학과 외래에서 자주 보는 감별진단 케이스
- 쉬운 케이스 3개, 보통 케이스 5개, 어려운 케이스 2개
- 각 케이스에 정답(전문의가 확인한 진단)을 포함A/B 프롬프트 비교 실행
[프롬프트 A — 기본형]
다음 환자의 감별진단 3가지를 알려줘.
환자: [케이스]
[프롬프트 B — 구조화형]
당신은 가정의학과 전문의입니다.
다음 환자의 감별진단을 likelihood 순으로 3가지 제시해 주세요.
각 진단에: 이 환자의 근거 소견 + 확인 검사를 포함해 주세요.
환자: [케이스]같은 10개 케이스를 A, B 각각 돌리고 결과를 비교한다.
평가 기준 설계
측정 없이는 개선도 없다. 의료 프롬프트 평가에 적합한 기준들:
| 기준 | 설명 | 점수 방식 |
|---|---|---|
| 정확도 | 정답 진단이 포함됐는가 | 포함(1) / 미포함(0) |
| 순위 | 정답 진단이 몇 번째로 나왔는가 | 1위(3점), 2위(2점), 3위(1점) |
| 완결성 | 중요한 감별진단을 빠뜨리지 않았는가 | 0~3점 척도 |
| 근거 제시 | 각 진단의 근거를 명시했는가 | 있음(1) / 없음(0) |
| 불확실성 표현 | 모르는 건 모른다고 했는가 | 적절(1) / 과신(0) |
| 임상 실용성 | 실제 외래에서 바로 쓸 수 있는가 | 1~5점 리커트 |
블라인드 평가
평가자가 어느 게 A/B인지 모르는 상태에서 평가하면 편향이 줄어든다.
아래 두 답변 중 어느 것이 더 좋은 감별진단 응답인지 평가해줘.
[답변 1]
[AI 출력 붙여넣기]
[답변 2]
[AI 출력 붙여넣기]
평가 기준:
1. 정확도 (정답 진단 포함 여부)
2. 근거의 충실성
3. 임상 실용성 (외래에서 바로 쓸 수 있는가)
4. 불필요한 내용 없이 간결한가
각 기준 1~5점, 총점 및 선택 이유를 말해줘.AI 자체를 평가자로 쓸 수 있고, 동료 의사에게 직접 평가를 의뢰해도 된다.
최소 샘플 크기
케이스 10개로 판단하기에는 부족하다. 실용적 기준:
- 초기 탐색: 5~10개 케이스로 큰 차이 확인
- 실용 비교: 20~30개 케이스 — 전문과별 대표 케이스 포함
- 공식 검증: 50개 이상 — 논문 또는 병원 도입 전 검증 수준
케이스 수가 적을수록 우연에 의한 결과일 가능성이 높다.
프롬프트 버전 관리
좋은 프롬프트는 한번 만들고 끝나지 않는다. 버전을 관리해야 언제 어떤 변경이 성능에 영향을 줬는지 추적할 수 있다.
[개인 노션/메모 앱에서 관리하는 형식 예시]
## 감별진단 프롬프트 v1.0 (2026-01-15)
[프롬프트 내용]
성능: 케이스 10개 기준 정확도 70%
## 감별진단 프롬프트 v1.1 (2026-02-03)
변경: "likelihood 순으로" 문구 추가
성능: 케이스 10개 기준 정확도 80%, 순위 적중률 개선
## 감별진단 프롬프트 v2.0 (2026-03-10)
변경: CoT 추가 ("단계별로 생각해봐" 삽입)
성능: 케이스 20개 기준 정확도 85%, 복잡한 케이스에서 특히 향상자동화 테스트 도구
개인 사용이라면 메모장 + 수동 평가면 충분하지만, 병원 단위 도입이나 반복 평가에는 도구를 활용할 수 있다.
- PromptFoo: 오픈소스. 여러 프롬프트를 YAML로 정의하고 자동 A/B 비교
- LangSmith: LangChain 생태계. 프롬프트 버전 관리 + 실행 로그 추적
- Weights & Biases Prompts: 실험 추적에 특화
- 자체 스프레드시트: 케이스 10~20개, 수동 평가 테이블 — 가장 진입 장벽이 낮다
의료 전문가 패널 평가
AI가 AI를 평가하는 것 외에, 실제 임상의 검증이 가장 신뢰도 높다.
[동료 평가 의뢰 템플릿]
다음 AI 답변 2가지를 비교해 주세요. (작성 AI 모름 상태)
케이스: [케이스 내용]
답변 A: [출력 내용]
답변 B: [출력 내용]
평가 항목:
- 임상적으로 중요한 진단을 놓쳤는가?
- 틀린 내용이 포함됐는가?
- 실제 외래에서 바로 활용 가능한가?
- 전체적으로 어느 것이 낫는가? (A/B + 이유)핵심 정리
- 프롬프트 평가는 “느낌”이 아니라 케이스 + 기준 + 점수로 한다
- A/B 테스트: 동일 케이스에 두 프롬프트 적용 → 기준별 점수 비교
- 블라인드 평가, 전문가 패널 평가로 편향을 줄인다
- 버전 관리를 통해 어떤 변경이 성능을 높였는지 추적한다