머신러닝 스케일링, 표준화와 정규화가 같은 말은 아닌 이유
페이지 정보
본문
머신러닝 전처리에서 데이터를 정규화하라는 설명을 보면 모든 값을 0과 1 사이로 바꾸는 작업이라고 이해하기 쉽습니다. 그러나 표준화, 최소·최대값 스케일링, 벡터의 길이를 맞추는 정규화는 서로 다른 변환입니다.
라이브러리 이름과 실제 계산 대상을 확인해야 합니다. 이 글에서는 scikit-learn의 StandardScaler, MinMaxScaler, Normalizer를 기준으로 무엇을 바꾸는지와 어떤 오해를 피해야 하는지 개념 수준에서 정리합니다.
AI 생성 삽화 · 개념 이해를 위한 AI 연출 이미지이며 실제 시스템 구성도나 측정 결과가 아닙니다.
핵심 정리
StandardScaler는 특성별 중심과 척도를, MinMaxScaler는 특성별 값의 범위를 바꿉니다. Normalizer는 샘플 벡터의 크기를 맞추는 변환이며, 이름보다 변환 축과 계산 기준을 확인하는 것이 중요합니다.
1. 먼저 행과 열이 무엇인지 정합니다
가상의 표에서 한 행은 상품 하나이고 열은 무게와 길이라고 가정합니다. 여러 상품의 무게 열을 기준으로 계산하는 것과 한 상품의 무게·길이 값을 묶어 계산하는 것은 다른 작업입니다.
전처리를 이해하려면 어떤 값들이 함께 변환 기준을 만드는지 봐야 합니다. 일반적인 표 형태에서 StandardScaler와 MinMaxScaler는 각 특성 열의 통계를 이용하고, Normalizer는 각 샘플 행을 개별적으로 다룹니다.
실제 데이터가 다른 형태라면 먼저 라이브러리에 전달하는 배열의 축을 확인해야 합니다. 단순히 숫자의 크기가 작아졌다는 결과만 보고 같은 전처리라고 판단하면 모델에 전달되는 의미의 차이를 놓칠 수 있습니다.
2. 표준화는 평균과 표준편차를 기준으로 봅니다
StandardScaler의 기본적인 설명은 각 특성에서 학습 데이터의 평균을 빼고 표준편차로 나누는 것입니다. 관련 공식 문서는 중심화와 스케일 조정을 개별 설정으로 제어할 수 있다고 설명합니다.
직접 만든 계산 예로 평균이 50이고 표준편차가 10인 특성에서 값 70은 변환 후 2가 됩니다. 이는 학습 기준의 평균보다 표준편차 두 배만큼 위에 있다는 의미이지 확률 2나 중요도 2라는 뜻이 아닙니다.
음수가 나오는 것도 자연스러울 수 있습니다. 상수 특성 등 일반 수식만으로 설명하기 어려운 경우는 라이브러리의 처리 규칙을 확인해야 하며, 모든 열이 무조건 정확히 같은 분포가 된다고 생각하지 않습니다.
3. 최소·최대값 스케일링은 범위를 기준으로 봅니다
MinMaxScaler는 학습에서 확인한 특성별 최소값과 최대값을 이용해 지정한 범위로 선형 변환합니다. 기본 범위는 0부터 1입니다.
직접 만든 예로 학습 기준 최소가 10이고 최대가 30이면 값 20은 0.5로 변환됩니다. 하지만 이후 40이 들어오면 같은 계산 기준에서 1.5가 될 수 있습니다.
공식 문서의 clip 옵션은 지정 범위 밖의 변환값을 잘라 내는 동작을 설명하며, 기본값은 꺼져 있습니다. 따라서 최소·최대값 스케일링을 사용했다는 사실만으로 미래의 모든 입력이 자동으로 범위 안에 들어간다고 말할 수는 없습니다.
값을 자르는 동작과 기준 범위를 바꾸는 동작도 구분해야 합니다.
4. 벡터 정규화는 샘플 하나의 크기를 조정합니다
Normalizer 문서는 각 샘플을 개별적으로 처리해 지정한 노름을 1로 맞추는 변환을 설명합니다. 예를 들어 직접 만든 벡터 6과 8의 두 성분은 L2 길이가 10이므로 같은 비율로 나누면 0.6과 0.8이 됩니다.
이는 여러 행의 평균을 구한 계산이 아닙니다. 값의 방향 관계를 유지하면서 크기를 조정하는 설명으로 이해할 수 있습니다.
크기 자체가 중요한 정보인 문제에서 이 변환을 적용하면 그 정보가 어떻게 달라지는지 검토해야 합니다. 영벡터나 다른 노름의 경우에는 동작을 문서에서 확인합니다.
정규화라는 한국어 표현만으로 이 방식인지 최소·최대값 변환인지 알 수 없으므로 함수명과 수식을 함께 보는 편이 정확합니다.
5. 숫자의 척도와 학습 의미를 구분합니다
scikit-learn 전처리 가이드는 특성 간 척도 차이가 일부 학습 방법에 영향을 줄 수 있음을 설명합니다. 그렇다고 숫자가 큰 특성이 항상 잘못됐거나 작은 값으로 바꾸면 정확도가 반드시 높아진다는 뜻은 아닙니다.
가상의 센서 데이터에서 한 열은 시간, 다른 열은 거리를 뜻한다면 값의 단위와 의미부터 알아야 합니다. 모델이 무엇을 예측하고 어떤 계산에 특성을 사용하는지에 따라 전처리의 필요성을 검토합니다.
데이터를 보기 좋게 만드는 것과 모델에 적절한 표현을 만드는 것은 다른 목적입니다. 전처리 후보를 비교할 때는 같은 데이터 분할과 같은 평가 기준을 사용해 효과를 확인해야 합니다.
6. 학습한 변환 기준을 추론에도 이어 씁니다
평균이나 최소·최대값을 학습한 뒤 새 데이터를 변환할 때는 해당 기준을 일관되게 적용해야 합니다. 전처리 가이드는 학습 데이터에서 계산한 변환을 다른 데이터에 재사용하는 흐름을 보여 줍니다.
예를 들어 상품 하나가 들어올 때마다 그 한 행만으로 새 기준을 만들면 학습 때와 다른 좌표로 모델에 전달될 수 있습니다. 모델 파일뿐 아니라 함께 사용한 전처리 설정과 학습된 상태를 연결해 관리하는 이유입니다.
다만 Normalizer처럼 샘플별로 변환하는 방식은 특성별 학습 통계를 사용하는 방식과 다르므로 fit이라는 메서드 이름만 보고 같은 통계가 저장된다고 추정하지 않습니다. 각 변환의 동작을 구분해야 합니다.
7. 이상값과 분포 모양은 따로 살펴봅니다
StandardScaler 문서는 이상값에 민감할 수 있음을 안내하고, MinMaxScaler 역시 이상값의 영향을 없애는 기능은 아니라고 설명합니다. 직접 만든 예에서 대부분의 값이 10부터 20인데 하나가 1000이면 최소·최대값 기준의 범위가 그 큰 값에 영향을 받습니다.
숫자가 0과 1 사이에 들어갔다고 그 값이 일반적인 관찰로 바뀐 것은 아닙니다. 표준화도 원래의 분포를 무조건 정규분포로 만드는 변환은 아닙니다.
이상값이 오류인지 중요한 드문 사례인지 먼저 검토해야 합니다. 변환을 선택하는 일과 데이터를 제거하는 결정을 분리하면 전처리라는 이름으로 중요한 정보를 무심코 지우는 일을 줄일 수 있습니다.
8. 검토 메모에는 변환의 세 가지 질문을 남깁니다
어느 축을 바꾸는가, 기준은 어디에서 계산했는가, 바뀐 숫자는 무엇을 뜻하는가를 적어 보면 혼동을 찾기 쉽습니다. 예를 들어 무게 열의 평균을 빼고 나눈 값과 상품 한 행의 벡터 길이를 맞춘 값은 같은 숫자라도 의미가 다릅니다.
연습용 데이터로 몇 개의 값을 손으로 계산해 예상 결과와 비교할 수도 있습니다. 이 글의 수치 예시는 정의를 이해하기 위한 산술 예시이며 특정 데이터셋에서의 모델 성능 측정 결과가 아닙니다.
실제 적용에서는 상수 열, 누락값, 새 범위의 입력, 희소 데이터 등 자신의 조건에 해당하는 처리 규칙을 공식 문서에서 확인하고 검증 기록을 남기는 편이 좋습니다.
9. 자주 묻는 질문
Q1. 표준화하면 값이 모두 0과 1 사이가 되나요?
그렇지 않습니다. 평균과 표준편차를 기준으로 조정하므로 음수나 1보다 큰 값이 나올 수 있습니다.
범위를 지정하는 최소·최대값 스케일링과 목적 및 계산을 구분해야 합니다.
Q2. MinMaxScaler의 결과가 1보다 크면 오류인가요?
학습 때 본 최대값보다 큰 새 입력이 들어오면 그럴 수 있습니다. 같은 변환 기준을 적용한 결과인지와 clip 설정을 확인합니다.
범위 밖의 값이 나왔다는 이유만으로 즉시 잘못된 계산이라고 단정하지 않습니다.
Q3. 정규화와 표준화 중 무엇이 더 좋은가요?
모든 문제에 공통인 우열은 없습니다. 특성의 의미와 모델, 평가 조건을 기준으로 비교해야 합니다.
먼저 정규화라는 말이 어떤 함수와 계산을 가리키는지 분명히 하는 것이 좋습니다.
Q4. 표준화는 데이터를 정규분포로 바꾸는 것인가요?
단순히 평균을 빼고 척도를 나누는 것으로 분포 모양이 반드시 정규분포가 되지는 않습니다. 중심과 크기를 조정하는 것과 분포 형태를 바꾸는 것은 다른 개념입니다.
변환 후에도 이상값과 분포 특성을 별도로 살펴야 합니다.
참고 자료
- 이전글컨테이너 볼륨과 쓰기 계층, 데이터가 남는 위치 이해하기 26.09.25
- 다음글페이지 번호와 커서 페이지네이션, 다음 데이터의 기준이 다른 이유 26.09.25
댓글목록
등록된 댓글이 없습니다.