군집 평가의 실루엣 점수, 가까운 이웃과 다른 군집의 거리를 비교하기
페이지 정보
본문
군집화 결과를 평가할 때는 정답 라벨이 없는 경우가 많습니다. 이때 데이터가 각 집단 안에서 얼마나 모여 있고 다른 집단과 얼마나 떨어져 있는지 살펴보는 지표가 실루엣 점수입니다.
다만 점수가 높다는 사실과 업무에 유용한 집단을 찾았다는 판단은 같지 않습니다. 여기서는 샘플 하나의 거리 비교에서 시작해 전체 평균으로 이어지는 계산과 해석의 한계를 정리합니다.
숫자 예시는 개념을 설명하기 위해 구성한 가상의 거리 값이며 실제 데이터 분석 결과가 아닙니다.
AI 생성 삽화 · 개념 이해를 위한 AI 연출 이미지이며 실제 시스템 구성도나 측정 결과가 아닙니다.
핵심 정리
실루엣은 같은 군집 내부의 평균 거리 a와 가장 가까운 다른 군집까지의 평균 거리 b를 비교합니다. 전체 평균만 보지 말고 군집별 크기와 샘플별 점수, 사용한 특성과 거리 기준을 함께 확인합니다.
1. 군집 이름이 아니라 거리 관계를 평가합니다
군집화는 샘플을 여러 집단으로 나누는 작업이며 집단 번호 자체에 순위가 있는 것은 아닙니다. 고객 집단을 0과 1로 표시했다고 1이 더 우수한 고객이라는 뜻이 되지는 않습니다.
실루엣 점수는 이런 번호의 의미를 평가하는 대신 주어진 집단 배치와 거리 관계를 살펴봅니다. 같은 군집의 샘플은 서로 가깝고 다른 군집과는 떨어져 있을 때 높은 점수를 기대할 수 있습니다.
이 설명에서 가깝다는 말은 분석자가 사용한 특성과 거리 계산에 의존합니다. 나이와 구매 횟수를 함께 쓰는지, 문서 임베딩을 쓰는지에 따라 비교하는 대상이 달라집니다.
따라서 실루엣을 업무상의 정답률로 읽어서는 안 됩니다. 점수가 높아도 집단을 설명하거나 실제 행동으로 연결하기 어려울 수 있습니다.
지표를 계산하기 전에 무엇을 하나의 샘플로 보고 어떤 특성을 사용했는지 정리하는 것이 해석의 출발점입니다.
2. 같은 군집 내부의 평균 거리 a를 구합니다
하나의 샘플을 골랐다고 생각해 봅니다. a는 그 샘플과 같은 군집에 속한 다른 샘플들 사이의 거리를 평균한 값입니다.
자기 자신과의 거리를 평균에 넣는다는 뜻은 아닙니다. 이 값이 작으면 선택한 거리 기준에서 자기 군집의 다른 샘플들과 비교적 가까운 상태입니다.
같은 군집의 중심점까지 거리 하나만 재는 계산과도 다릅니다. 예를 들어 한 샘플에서 같은 군집의 다른 두 샘플까지 거리가 1과 3이라면 a는 2입니다.
이 숫자는 설명용 가정이며 어떤 업무에서 2가 작다고 정하는 공통 기준은 아닙니다. 단위와 특성 구성이 바뀌면 거리의 의미도 달라지기 때문입니다.
샘플 하나만 들어 있는 군집처럼 일반적인 평균 계산을 그대로 적용하기 어려운 경우도 있으므로 사용하는 구현의 처리 방식을 확인해야 합니다. 이 글의 손계산은 같은 군집 안에 다른 샘플이 있는 경우를 전제로 합니다.
3. 다른 군집까지의 평균 거리 중 가장 작은 값 b를 구합니다
선택한 샘플에서 다른 군집의 모든 샘플까지 거리를 평균합니다. 다른 군집이 여러 개라면 군집마다 평균을 따로 구한 뒤 가장 작은 평균을 b로 사용합니다.
모든 다른 샘플 가운데 가장 가까운 점 하나까지의 거리와는 다릅니다. 또한 모든 다른 군집을 한데 합친 평균도 아닙니다.
예를 들어 두 다른 군집까지의 평균 거리가 각각 5와 8이면 b는 5입니다. 앞 절의 a가 2라면 이 샘플의 실루엣은 (b-a)/max(a,b), 즉 (5-2)/5인 0.6이 됩니다.
a가 5이고 b가 2인 다른 가상 상황에서는 (2-5)/5인 -0.6입니다. 같은 군집 안보다 다른 군집 쪽에 평균적으로 더 가깝다는 신호로 해석할 수 있습니다.
음수라고 해당 샘플이 반드시 잘못된 데이터라는 뜻은 아니며 군집 배정과 거리 기준을 다시 살펴볼 단서입니다. 두 평균이 같고 양수라면 점수는 0이 됩니다.
4. 전체 평균과 샘플별 점수를 구분합니다
scikit-learn의 silhouette_score는 샘플별 실루엣 계수의 평균을 반환하며 silhouette_samples는 각 샘플의 값을 반환합니다. 평균이 같아도 일부 군집에 낮은 점수가 몰려 있는지 여부는 다를 수 있습니다.
큰 군집에 높은 점수가 많으면 작은 군집의 어려운 사례가 전체 평균에서 덜 드러날 수도 있습니다. 군집별 표본 수와 점수 분포를 함께 보면 이러한 차이를 살펴볼 수 있습니다.
공식 실루엣 분석 예제는 평균 점수뿐 아니라 군집별 분포와 크기를 함께 보여 줍니다. 프로젝트 보고서에서도 후보별 평균만 한 줄로 적기보다 낮은 점수의 샘플이 어떤 집단에 속하는지 확인하면 좋습니다.
낮은 점수라는 이유로 행부터 제거하면 비교하는 데이터가 달라집니다. 원래 자료의 특성인지 전처리 문제인지 검토한 뒤 필요한 조치를 정해야 합니다.
지표를 올리는 것과 분석 목적에 맞는 군집을 설명하는 것을 함께 살펴봅니다.
5. 군집 수를 비교할 때 계산 조건을 맞춥니다
같은 데이터에서 군집 수 후보를 바꾸어 실루엣을 비교할 수 있습니다. 다만 점수가 가장 높은 후보를 모든 상황의 정답으로 선언하지는 않습니다.
군집 수와 별개로 사용할 데이터, 전처리, 거리 기준이 달라지면 점수 차이의 원인을 분리하기 어렵습니다. scikit-learn의 해당 지표는 군집 라벨 수가 2 이상이고 샘플 수보다 적은 조건에서 정의됩니다.
전체를 하나의 군집으로 묶거나 모든 샘플을 각기 다른 군집으로 둔 경우를 같은 방식으로 평가하려 해서는 안 됩니다. 데이터가 커서 일부 샘플로 점수를 계산한다면 표본 추출 조건도 비교표에 남깁니다.
후보마다 다른 표본을 사용하면 결과 차이에 표본 구성이 영향을 줄 수 있습니다. 무작위성이 있는 군집화라면 한 번의 실행 결과만으로 안정성을 판단하지 않고 반복 결과를 검토할 수 있습니다.
이런 조건을 기록해야 다음 사람이 같은 계산을 재현할 수 있습니다.
6. 높은 점수가 말해 주지 않는 것도 확인합니다
실루엣은 선택한 거리에서 조밀하고 분리된 구조를 평가하는 데 유용하지만 모든 군집 모양을 같은 방식으로 다루지는 않습니다. scikit-learn의 군집 평가 안내도 볼록한 형태의 군집에 유리할 수 있다는 한계를 설명합니다.
복잡한 모양의 집단을 다루는 경우에는 낮은 점수가 곧 분석 실패라고 단정할 수 없습니다. 두 차원으로 그린 그림도 원래의 모든 특성과 거리 관계를 그대로 보여 주는 것은 아니므로 보조 자료로 사용합니다.
업무적으로 필요한 집단 수와 각 집단을 설명할 수 있는 특성도 함께 검토합니다. 예를 들어 가상의 고객 분석에서는 점수가 약간 높은 두 집단보다 운영 목적에 맞는 세 집단이 더 유용할 가능성도 검토할 수 있습니다.
이것은 세 집단이 더 좋다는 일반 규칙이 아니라 지표와 목적을 함께 보라는 뜻입니다. 보고서에는 점수, 계산 조건, 군집별 설명, 남은 한계를 나란히 제시합니다.
실루엣은 군집화를 끝내 주는 판정표가 아니라 결과를 질문하고 비교하는 도구입니다.
7. 자주 묻는 질문
Q1. 실루엣 점수 0.6은 정답률 60%라는 뜻입니까?
정답 라벨과 비교한 비율이 아니라 같은 군집과 다른 군집의 거리 관계를 요약한 값입니다. 선택한 특성과 거리 기준 아래에서 해석해야 하며 업무상 정확도를 직접 뜻하지 않습니다.
Q2. b는 가장 가까운 다른 점까지의 거리입니까?
다른 군집별 평균 거리 가운데 가장 작은 값을 뜻합니다. 다른 샘플 하나까지의 최소 거리나 모든 다른 군집을 합친 평균 거리로 계산하면 정의와 달라집니다.
Q3. 군집을 많이 만들수록 점수가 높아집니까?
군집 수를 늘린다고 점수가 반드시 높아지는 것은 아닙니다. 동일한 데이터와 거리 조건에서 후보를 비교하고 군집별 크기와 점수 분포, 실제 활용 목적을 함께 검토해야 합니다.
Q4. 음수 점수의 샘플은 모두 삭제해야 합니까?
음수라는 사실만으로 잘못된 데이터라고 판단할 수는 없습니다. 군집 배정과 특성·거리 기준, 해당 샘플의 맥락을 살펴보고 삭제가 필요하다면 점수 개선과 별개의 근거를 남깁니다.
참고 자료
- 이전글순열 특성 중요도, 입력 열을 섞었을 때 모델 점수가 달라지는 이유 26.10.14
- 다음글회귀 평가의 MAE와 RMSE, 큰 오차가 점수에 미치는 영향 26.10.12
댓글목록
등록된 댓글이 없습니다.