분류 모델의 확률 보정, 높은 점수와 믿을 만한 확률의 차이
페이지 정보
본문
분류 모델이 어떤 입력에 0.9를 출력했다고 해서 그 예측이 실제로 90%의 비율로 맞는다고 곧바로 해석할 수는 없습니다. 점수가 큰 대상을 잘 고르는 능력과 확률값이 관측 비율에 맞는 성질은 구분해서 살펴봐야 합니다.
확률 보정은 이 가운데 숫자로 표현된 확신의 수준을 점검하고 조정하는 문제입니다. 이 글에서는 이진 분류를 기준으로 보정의 의미와 평가 방법을 정리합니다.
AI 생성 삽화 · 개념 이해를 위한 AI 연출 이미지이며 실제 시스템 구성도나 측정 결과가 아닙니다.
핵심 정리
확률 보정은 예측 확률과 실제 관측 비율의 대응을 다룹니다. 분류 경계, 순위 평가, 확률 평가를 나누고 보정에 사용하지 않은 자료로 결과를 확인해야 합니다.
1. 개별 정답이 아니라 비슷한 확률의 집단을 봅니다
모델이 양성일 확률을 0.7 정도로 예측한 사례를 여러 개 모았다고 생각해 봅니다. 그 집단에서 실제 양성이 대략 70%라면 해당 구간의 예측과 관측이 비슷하다고 볼 수 있습니다.
하나의 입력이 양성이었다는 사실만으로 0.7이라는 확률을 맞았다고 채점하는 방식과는 다릅니다. 다음은 이해를 위한 가상 예시입니다.
알림 대상 후보 100개에 모두 0.7 안팎의 확률을 주었는데 실제 대상이 40개였다면, 그 자료에서는 모델이 집단의 양성 비율보다 높은 확률을 제시한 셈입니다. 이 숫자는 실제 서비스 측정 결과가 아닙니다.
또한 한 구간의 관찰만으로 모델 전체를 평가할 수도 없습니다. 0.2 주변이나 0.9 주변에서는 다른 모습이 나올 수 있으므로 여러 구간을 함께 봅니다.
어떤 사건을 양성으로 정의했는지와 정답을 언제 확정했는지도 중요합니다. 아직 결과가 나오지 않은 사례를 음성으로 채우면 비교할 기준 자체가 바뀝니다.
2. 보정 곡선은 구간의 평균과 관측 비율을 연결합니다
보정 곡선을 만들 때는 예측값을 구간에 모으고 각 구간의 평균 예측 확률과 실제 양성 비율을 비교합니다. 가로축과 세로축의 값이 비슷할수록 해당 구간에서 두 값이 잘 대응한다는 의미입니다.
scikit-learn의 calibration_curve는 이진 분류 확률을 구간으로 나누는 도구이며, 구간 폭을 같게 하거나 표본 수를 비슷하게 나누는 방식을 제공합니다. 구간에 자료가 없다면 결과 점이 만들어지지 않을 수 있습니다.
그래프를 볼 때 선의 모양만 보지 말고 구간별 사례 수도 같이 기록하는 편이 좋습니다. 가상으로 두 사례 중 하나가 양성이었던 구간과 200개 중 100개가 양성이었던 구간은 모두 비율이 0.5입니다.
그러나 두 관찰이 제공하는 정보의 양은 같지 않습니다. 구간을 지나치게 잘게 나눈 그림을 정교한 평가라고 생각하지 않는 이유입니다.
다른 실험의 그림을 비교할 때는 구간 기준과 평가 데이터가 같은지도 먼저 맞춥니다.
3. 보정기는 모델 출력과 확률 사이의 변환을 배웁니다
일반적인 보정 과정에서는 분류 모델이 낸 점수를 입력으로 받아 보정된 확률을 만드는 변환을 학습합니다. 원래 입력 특성을 다시 설계하는 일과는 역할이 다릅니다.
이미 학습된 모델을 보정할 때는 그 모델 학습에 사용한 자료와 보정에 쓰는 자료를 구분해야 합니다. scikit-learn의 CalibratedClassifierCV는 교차 검증을 이용하는 구성을 제공하며, 이미 학습한 모델을 다루는 경우에도 데이터 분리는 사용자가 확인할 사항입니다.
도구를 호출했다는 사실만으로 자신이 준비한 데이터의 누수가 사라지는 것은 아닙니다. 실험 메모에는 기본 모델을 학습한 자료, 보정 변환을 학습한 자료, 최종 비교에 남겨 둔 자료를 각각 적는 것이 좋습니다.
같은 이용자의 기록이나 시간 순서가 중요한 문제라면 행 번호를 무작위로 나누는 것만으로 독립적인 평가가 된다고 가정하지 않습니다. 보정 방법과 분할 구성을 바꿨다면 결과표에서도 다른 실험으로 구분합니다.
4. 분류 임계값을 바꾸는 일과 목적이 다릅니다
확률 보정은 출력 숫자의 의미를 조정하고, 임계값은 그 숫자를 바탕으로 어떤 행동이나 라벨을 선택할지 정합니다. 예를 들어 0.6을 넘으면 검토 대상으로 보낸다는 규칙은 결정 기준입니다.
보정 후 같은 입력의 확률이 0.65에서 0.48로 바뀌었다면 같은 기준을 적용해도 선택 결과가 달라질 수 있습니다. 반대로 확률값을 그대로 둔 채 기준만 0.6에서 0.4로 낮추는 것은 확률 보정이 아닙니다.
이 숫자들은 두 작업을 구분하기 위한 가상 예시이며 추천 설정이 아닙니다. 실험에서 보정과 기준 변경을 동시에 수행했다면 성능 변화가 어느 작업에서 왔는지 따로 비교해야 합니다.
모델 확률을 화면에 보여 주는 용도와 자동 알림을 보낼 대상을 정하는 용도도 요구가 다를 수 있습니다. 따라서 결과표에 확률 평가와 최종 행동의 평가를 나누어 적으면 설명이 명확해집니다.
기준 선택에도 평가 자료를 반복 사용하면 결과가 낙관적으로 보일 수 있으므로 실험 목적과 자료의 역할을 먼저 정합니다.
5. 확률 오차 지표 하나만으로 결론 내리지 않습니다
이진 분류의 Brier 점수는 각 예측 확률과 0 또는 1로 표시한 실제 결과의 차이를 제곱해 평균하는 방식으로 이해할 수 있습니다. 실제 양성이 1인 한 사례에 0.8을 예측했다면 제곱 오차는 0.04이고, 0.6을 예측했다면 0.16입니다.
이는 계산을 설명하기 위한 예이며 두 사례만으로 모델을 고르라는 뜻은 아닙니다. 실제 비교에서는 동일한 평가 집합 전체를 사용합니다.
Brier 손실이 낮아졌다고 보정 상태만 좋아졌다고 단정해서는 안 됩니다. 공식 가이드는 이 지표가 확률 보정 외의 분별 능력과 자료의 특성도 함께 반영한다고 설명합니다.
보정 곡선과 사례 수, 업무에 필요한 분류 지표를 함께 검토해야 하는 이유입니다. 지표를 계산할 때는 양성 클래스가 무엇인지, 다중 분류와 이진 분류의 설정이 같은지 확인합니다.
서로 다른 정의로 계산한 수치를 한 줄에 놓으면 개선 여부를 잘못 해석하기 쉽습니다.
6. 작은 실험 기록으로 재현 가능한 비교를 만듭니다
처음 실습할 때는 보정 전후 확률을 같은 평가 행에 나란히 저장하는 방식이 유용합니다. 정답, 평가 구간, 모델 식별자, 보정 방법을 함께 기록하면 어떤 숫자를 비교했는지 되짚을 수 있습니다.
결과를 보고 좋았던 사례만 뽑지 말고 미리 정한 평가 집합을 유지합니다. 실패한 예측을 살펴볼 때도 확률이 높았다는 이유만으로 같은 원인이라고 묶지 않습니다.
입력의 범위와 정답 정의, 자료 수집 시점을 같이 확인합니다. 실험 보고서에는 이번 자료에서 어느 구간의 대응이 달라졌는지와 무엇을 확인하지 못했는지를 적습니다.
서비스 대상이나 기간이 달라졌을 때도 보정이 그대로 유지된다고 보장할 수는 없습니다. 새로운 자료가 쌓이면 같은 평가 절차로 비교할 수 있도록 설정과 자료 범위를 남겨 둡니다.
입문 단계의 목표는 특정 보정 방법을 항상 적용하는 습관이 아니라 출력 확률을 어떤 근거로 읽을지 설명할 수 있게 되는 것입니다.
7. 자주 묻는 질문
Q1. 정확도가 높으면 확률 보정은 필요 없나요?
정확도와 확률의 관측 비율 일치는 서로 다른 질문입니다. 확률값 자체를 의사결정이나 설명에 사용한다면 정확도만 보지 말고 보정 곡선과 확률 평가도 확인하는 편이 좋습니다.
Q2. 보정하면 모든 입력의 정답 확률을 알 수 있나요?
개별 입력의 결과를 보장하는 기능은 아닙니다. 평가 자료에서 비슷한 확률을 받은 집단의 관측 비율과 대응을 살피는 것이며, 자료가 달라지면 그 대응도 다시 확인해야 합니다.
Q3. 보정 데이터를 최종 테스트에도 써도 되나요?
보정 과정에서 이미 이용한 자료만으로 최종 효과를 판단하면 독립적인 확인이 어렵습니다. 모델 학습과 보정, 최종 평가에 쓴 자료의 역할을 구분하고 남겨 둔 평가 집합으로 비교합니다.
Q4. 처음부터 가장 복잡한 보정 방법을 고르면 되나요?
복잡한 방법이 항상 더 적합한 것은 아니며 데이터 규모와 분포에 따라 결과가 달라집니다. 사용한 방법과 분할 조건을 기록하고 동일한 평가 자료에서 보정 전후를 비교해 선택 근거를 남깁니다.
참고 자료
- 이전글조기 종료 Early Stopping, 학습을 멈추는 기준과 모델 선택 이해하기 26.10.07
- 다음글K겹 교차 검증, 모델을 여러 번 평가하는 이유와 분할의 기준 26.10.05
댓글목록
등록된 댓글이 없습니다.