민감도와 특이도가 뭐예요?
한줄 요약
민감도(Sensitivity)와 특이도(Specificity)는 의사들에게 익숙한 개념이며, AI 성능을 평가하는 핵심 지표이기도 합니다. AI 도구를 선택할 때 이 두 지표의 의미를 알면 더 나은 판단을 할 수 있습니다.
왜 알아야 할까?
🎯 Pain Point AI 회사가 “정확도 95%“라고 홍보합니다. 하지만 암 환자 100명 중 5명을 놓친다는 뜻일 수도 있습니다. “정확도”만 보면 속을 수 있습니다.
✅ 민감도·특이도를 알면
- AI 의료 도구의 성능을 제대로 평가할 수 있습니다
- 어떤 상황에서 어떤 지표가 더 중요한지 판단할 수 있습니다
- AI 업체와 대화할 때 정확한 질문을 할 수 있습니다
- 이미 아는 의학 개념이라 금방 이해됩니다
이게 뭐예요?
의학에서 이미 배운 개념을 그대로 AI에 적용하면 됩니다.
민감도(Sensitivity) = 실제 환자 중 AI가 맞게 잡아낸 비율 암 환자 100명 중 AI가 암이라고 한 사람이 90명이면, 민감도 90%입니다.
특이도(Specificity) = 실제 정상인 중 AI가 정상이라고 맞게 판단한 비율 정상인 100명 중 AI가 정상이라고 한 사람이 85명이면, 특이도 85%입니다.
비유 1 — 암 스크리닝 검사 스크리닝 목적이라면 민감도가 핵심입니다. 암을 놓치면 안 되니까요. 특이도가 낮으면 정상인도 많이 걸리지만, 2차 검사로 걸러낼 수 있습니다. AI 스크리닝 도구도 마찬가지입니다. 놓치면 안 되는 상황에서는 민감도 높은 AI를 선택해야 합니다.
비유 2 — 처방 경고 시스템 약물 상호작용 경고 AI가 너무 민감하면(특이도 낮음), 모든 처방에 경고가 뜨고 의사들이 경고를 무시하게 됩니다. 너무 특이도가 높으면(민감도 낮음), 정말 위험한 상호작용을 놓칠 수 있습니다. 상황에 맞는 균형이 필요합니다.
💡 한줄 정리 “놓치면 안 될 때는 민감도, 오진을 줄일 때는 특이도를 보세요”
예시를 들어볼게
예시 1 — 유방암 AI 선별 검사 유방촬영술 AI가 민감도 94%, 특이도 82%입니다. 암 환자 100명 중 94명을 잡아내지만, 정상 여성 100명 중 18명에게 불필요한 추가 검사를 권고합니다. 스크리닝 목적에서는 좋은 성능입니다.
예시 2 — 패혈증 조기 경보 시스템 ICU 패혈증 AI의 민감도가 낮으면, 위험한 환자를 놓치게 됩니다. 이 경우 특이도가 조금 낮더라도 민감도를 높게 설정하는 것이 임상적으로 더 안전합니다.
예시 3 — COVID-19 PCR 보조 AI 진단 확정 목적에서는 특이도가 더 중요합니다. 양성이라고 판정했는데 실제로는 음성이면, 불필요한 격리와 심리적 피해가 생기니까요.
의료에서는 이렇게 써요
-
AI 도구 선택 기준 ❌ 잘못된 선택: “정확도 95% AI니까 좋겠지” → 실제로는 암 환자 30%를 놓칠 수 있음 ✅ 올바른 선택: “이 AI의 민감도는 몇 %인가요? 어떤 환자군에서 검증됐나요?”
-
AI 경고 기준 조정(Threshold 설정) AI의 판단 기준(threshold)을 조정하면 민감도와 특이도를 trade-off할 수 있습니다. 기준을 낮추면 민감도 올라가고 특이도 내려갑니다. 임상 목적에 맞게 조정해야 합니다.
-
ROC 커브 해석 AI 논문에서 ROC 커브와 AUC 값을 봅니다. AUC 0.9 이상이면 좋은 성능, 0.7 아래면 임상 적용 전 재검토가 필요합니다. 이 그래프가 민감도-특이도의 균형을 시각화한 것입니다.
주의할 점 ⚠️
-
정확도(Accuracy)만 보면 속을 수 있습니다 암 환자가 전체의 5%인 집단에서, AI가 모든 사람을 “정상”이라고 해도 정확도는 95%입니다. 하지만 암 환자를 한 명도 못 잡습니다. 정확도만으로 AI를 평가하면 안 되는 이유입니다.
-
검증 집단이 중요합니다 어떤 환자군에서 검증됐는지 확인해야 합니다. 특정 연령대, 특정 장비에서만 좋은 성능이라면 우리 환경에서는 다를 수 있습니다.
-
PPV와 NPV도 함께 보세요 유병률이 낮은 집단에서는 PPV(양성 예측도)가 낮아집니다. 스크리닝 환경과 진단 환경에서 같은 AI가 다르게 작동합니다.
더 알고 싶다면
🔗 관련 글
- Overfitting이 뭐예요? — AI 성능을 제대로 측정하지 못하는 또 다른 이유
- AI와 의사 — 각자 잘하는 게 뭐가 다른가요? — AI 성능의 한계와 의사의 역할
- GPT 버전이 뭐가 다른가요? — 모델 버전별 성능 차이