오케스트레이션 모니터링 — AI가 조용히 나빠지고 있을 때 어떻게 아는가
한줄 요약
일반 소프트웨어는 에러가 나면 안다. AI 시스템은 에러 없이도 서서히 나빠진다. 이걸 잡는 것이 AI 모니터링이다.
본문
에러 코드 없는 실패
2024년 한 의료 AI 스타트업이 공개한 포스트모텀이 있다.
환자 요약 자동화 시스템을 6개월째 운영 중이었다. 시스템은 매일 정상 실행됐고, 에러 로그도 없었다. 어느 날 의사 피드백 설문에서 “AI 요약 품질이 3개월 전보다 나빠진 것 같다”는 응답이 다수 나왔다.
원인을 찾아보니: OpenAI가 GPT-4 모델을 3개월 전에 업데이트했고, 새 버전에서 프롬프트 일부가 다르게 해석되기 시작했다. 시스템은 정상 실행됐지만 출력 품질은 조용히 바뀌어 있었다.
AI 모니터링이 일반 모니터링과 다른 점
| 항목 | 일반 소프트웨어 | AI 오케스트레이션 |
|---|---|---|
| 실패 감지 | 에러 코드, 익셉션 | 품질 저하 (에러 없이) |
| 재현 가능성 | 동일 입력 → 동일 출력 | 비결정론적 |
| 성능 저하 패턴 | 갑작스러운 장애 | 점진적 드리프트 |
| 원인 추적 | 스택 트레이스 | 어느 에이전트에서? |
무엇을 측정해야 하는가
운영 메트릭 — 시스템이 정상 작동하는가
- 응답 시간: 평균, 상위 95%, 상위 99%
- 성공률: 완료 비율, 오류 비율, 재시도 비율
- 비용: 워크플로우당 토큰, 일별 총 비용
품질 메트릭 — 결과가 좋은가
이것이 AI 모니터링의 핵심이자 어려운 부분이다.
- 구조 검증: 출력이 기대하는 형식인가? 필수 섹션이 있는가?
- 의사 수정률: 의사가 AI 제안을 수정하는 빈도 (높아지면 품질 저하 신호)
- 승인률: Human-in-the-Loop에서 승인 vs 거부 비율
- AI 판별 점수: 다른 AI가 출력 품질을 1~5점으로 평가
- 사용자 피드백: 의사가 직접 표시하는 만족도
알람 설계
즉시 대응이 필요한 알람
🚨 응급
- 오류율 5분 이상 10% 초과
- AI가 금기 약물을 권고한 사례 발생
- 환자 개인정보 응답에 노출 의심
→ 담당자 즉시 연락, AI 기능 일시 비활성화 고려
⚠️ 경고
- 응답 시간 30초 초과 (p95 기준)
- 품질 점수 기준치 대비 15% 이상 하락 (1시간 평균)
- 일별 비용 예산의 120% 초과
→ 엔지니어링팀 슬랙 알림주간 리뷰가 필요한 패턴
- 의사 수정률의 추세 (주간 비교)
- 특정 케이스 유형에서 품질 차이
- 사용되지 않는 기능 (의사가 쓰지 않는 AI 기능)
드리프트 탐지
모델 업데이트, 데이터 분포 변화, 사용 패턴 변화로 AI 성능이 서서히 바뀌는 것을 드리프트라고 한다.
탐지 방법: 기준 기간(배포 후 첫 1개월)의 품질 메트릭을 저장해두고, 현재 품질과 통계적으로 비교한다.
기준치 대비 품질 점수가 유의미하게 하락하면 알람. 이때는 단순히 모니터링 알람이 아니라 원인 조사가 필요하다:
- 모델 버전이 바뀌었는가?
- 입력 데이터의 특성이 바뀌었는가?
- 프롬프트가 수정됐는가?
의료 AI 모니터링의 특수 요구사항
의료 AI는 일반 AI보다 더 엄격한 모니터링이 필요하다.
즉시 추적이 필요한 사건
- AI가 부정확한 약물 정보를 제공한 케이스 → 의사가 처방 전에 잡았는가, 잡지 못했는가
- 응급 상황 탐지를 놓친 케이스 → 의사가 수동으로 발견
- 동일 환자에 대해 다른 날 다른 권고를 낸 경우
감사 추적 (Audit Trail)
의료 규정상 AI의 모든 판단과 그 근거, 의사의 검토 여부를 기록해야 한다. “AI가 이 권고를 내렸고, 의사 김민준이 2026-04-02 09:14에 검토하고 승인했다”는 기록이 남아야 한다.
장애 시 대응
AI가 다운됐을 때 병동이 마비되면 안 된다. AI 기능을 끄면 의사가 기존 EMR로 직접 작업할 수 있어야 한다. 모니터링 시스템은 AI 장애 발생 시 자동으로 “AI 보조 없이 진행” 모드로 전환하는 기능을 포함해야 한다.
더 알고 싶다면
🔗 관련 글
- 오케스트레이션 디버깅 — 모니터링에서 감지한 문제의 원인 추적
- 오케스트레이션 테스팅 — 배포 전 테스트로 사전 예방
- 비용 최적화 — 비용도 모니터링의 핵심 지표
- 오케스트레이션 보안 — 보안 사고를 모니터링으로 실시간 감지