단일 점수 뒤의 다층 합의 — 12개 측정 방식이 한 점수로 모이는 이유

발행: 2026-05-14 · 태그: algorithm, scoring, consensus

한쪽만 크게 울리면 오탐이 늘어난다

알고리즘 하나가 아주 강한 신호를 내고 나머지가 잠잠하면, 그 신호가 진짜 이상인지 아니면 그 알고리즘 특유의 치우침인지 가려내기 어렵다. 반대로 12개가 모두 약하게만 울리면 어느 것도 결정적 근거가 되지 못해 진짜 이상을 놓치게 된다. 그래서 12개 측정을 그냥 평균 내는 대신, 비슷한 시각끼리 묶어 그 안에서 먼저 합의를 본 다음 다시 합치는 2단 구조 를 쓴다.

네 가지 시각, 열두 개의 측정

같은 방문 흐름이라도 어느 각도에서 보느냐에 따라 잡히는 이상이 다르다. 12개 측정을 다음 네 가지 시각으로 묶었다.

패턴 모양

3곡선·반복 자체의 부자연스러움

통계 분포

3분포의 폭, 치우침, 극단값 비중

시간 흐름

3흐름의 단절과 자기상관

지표 결합

3여러 지표가 겹쳐 만든 합성 신호

각 시각 안에서 3개의 측정을 평균 내 그 시각의 점수 를 만들고, 네 시각의 점수를 다시 가중 합산해 최종 0~100 점이 나온다.

한 시각이 1/3 을 넘지 못하게

핵심은 어떤 시각도 가중치 1/3 을 넘지 못하게 상한을 두는 것이다. 한 시각이 점수의 절반 이상을 좌우하면 사실상 그 시각 하나로 결과가 정해지고, 그 시각이 가진 치우침이 그대로 흐르게 된다. 상한을 두면 여러 시각이 같은 방향으로 모이는 만큼만 점수가 올라간다.

새 측정을 더할 때 가장 먼저 보는 것

새 알고리즘을 도입할 때 가장 먼저 확인하는 건 정답률이 아니라 점수 분포가 얼마나 흔들리는가 다. 분포가 크게 흔들리면 그동안 써온 임계값이 한꺼번에 빗나가고, 운영자가 익혀온 감각도 한 번에 무너진다.

기존 시각에 같은 결의 측정을 더하면 그 시각의 평균만 살짝 움직이고 전체 분포는 거의 그대로 유지된다. 완전히 다른 시각이면 새 카테고리를 만들되, 다른 세 시각의 가중치를 다시 정렬해 1/3 상한을 그대로 지킨다.

합의가 부족하면 점수를 내지 않는다

낮은 점수를 억지로 내는 것보다 점수를 내지 않는 편이 더 정직하다. 하나의 점수가 가지는 무게는, 결국 점수가 만들어지지 못한 경우를 얼마나 솔직하게 드러내느냐에 달려 있다.