분석 결과가 변할 때, 운영자는 어떻게 알 수 있을까 — 분포 변화 모니터링

발행: 2026-05-09 · 태그: monitoring, drift, ops

어제는 60%, 오늘은 50%

같은 알고리즘이라도 측정 환경이나 모델이 갱신되면 점수의 분포가 달라질 수 있다. 어제 "건강" 비율이 60% 였는데 오늘 50% 로 내려갔다고 해 보자 — 실제 운영 환경이 나빠진 걸까, 아니면 분석 쪽에 변화가 생긴 걸까. 두 경우는 대응하는 방식이 완전히 다르다.

매일 구간별 분포를 기록한다

매일 자정 기준으로 전체 측정 대상의 점수 구간 분포를 한 줄로 남긴다. 다섯 가지 상태 — 건강 / 보통 / 흔들림 / 고르지 않음 / 측정 대기 — 의 비율이 그날치 스냅샷으로 저장되고, 다음 날 같은 줄과 나란히 비교된다.

건강

55%

보통

23%

흔들림

12%

고르지 않음

10%

어제와 오늘을 나란히

5%p 넘게 움직이면 알린다

어느 한 구간이라도 어제 대비 절대값으로 5%p 이상 움직이면 운영자 알림 채널로 메시지가 나간다. 5% 폭은 표본 수 변화나 휴일 같은 자연 변동만으로는 거의 나오지 않는 크기라, "원인이 있다" 는 신호로 본다.

두 가지 원인을 빠르게 갈라본다

알림을 받은 운영자는 먼저 두 가지를 본다.

• (a) 분석 쪽 변화 — 최근 24시간 안에 모델 가중치 / 판정 기준 / 카테고리 정의가 갱신되었다면, 변화는 의도된 것이다. 변경 기록과 분포가 움직인 방향이 맞물리는지 확인하고 닫는다.
• (b) 실제 환경 변화 — 그런 변경이 없었다면 외부 데이터 소스나 측정 쪽 이상을 의심한다. 같은 시간대의 측정 성공률과 외부 응답 지연을 같이 살펴 원인을 좁힌다.

이 두 가능성을 매일 자동으로 갈라두면, 점수가 왜 달라졌냐는 문의가 들어왔을 때도 "오늘은 측정 자체가 안정적이었습니다" 또는 "오늘은 분석 정의가 바뀐 날입니다" 처럼 맥락을 정확히 잡아 답할 수 있다.

잘못 말하지 않는 것이 먼저

점수가 갑자기 떨어지면 본인의 운영을 먼저 의심하는 사람이 많다. 그런데 분포 모니터링이 같은 날 함께 흔들렸다면, 그날의 변화는 개별 운영 문제가 아니라 측정이나 분석 쪽 변화일 수 있다. 그래서 그런 날에는 알림 옆에 안내 문구를 같이 노출해, 사용자가 자기 운영을 잘못 의심하지 않도록 돕는다.