데이터 누수와 전처리, 학습 전에 나누어야 하는 이유
페이지 정보
본문
모델 평가 점수가 높게 나왔는데 실제 데이터에서는 성능이 떨어진다면 학습 알고리즘만 바꾸기 전에 데이터가 흐른 순서를 확인할 필요가 있습니다. 전처리 과정에서 평가 데이터의 정보를 미리 사용했을 수도 있기 때문입니다.
데이터 누수의 의미와 학습·평가 경계를 지키는 방법을 정리합니다.
AI 생성 삽화 · 실사풍 연출 이미지입니다. 실제 고객 현장이나 실제 작업 결과를 촬영한 사진이 아닙니다.
핵심 정리
평가 시점에 몰라야 할 정보가 모델이나 전처리 기준을 만드는 데 들어가면 점수를 신뢰하기 어려워집니다. 데이터로부터 기준을 학습하는 전처리는 학습 부분에서만 적합하고, 평가에는 그 기준을 적용합니다.
1. 모델이 실제로 알 수 있는 정보를 묻습니다
scikit-learn 문서는 예측 시점에 사용할 수 없는 정보가 모델을 만드는 데 들어가는 상황을 데이터 누수로 설명합니다. 정답 열을 입력에 그대로 넣는 경우만 떠올리기 쉽지만 문제는 더 넓습니다.
학습 과정에서 평가 데이터의 분포를 미리 보거나 미래에 만들어지는 값을 특징으로 쓰는 경우도 점검해야 합니다. 가상의 구독 이탈 예측을 생각해 보겠습니다.
다음 달 이탈을 예측하려는데 이탈 이후에 기록되는 처리 결과가 입력에 들어 있다면 실제 예측 시점에는 같은 조건을 만들 수 없습니다. 이 예시는 특정 업무 데이터의 성능 결과가 아니라 정보의 사용 가능 시점을 설명하기 위한 것입니다.
각 입력 열에 대해 언제 생성되고 언제 조회 가능한지 적으면 정답과 직접 닮지 않은 누수 후보도 찾아보기 쉽습니다.
2. 전처리에도 학습하는 부분이 있습니다
결측값을 채울 대표값을 구하거나 수치의 분포를 바탕으로 변환 기준을 정하는 작업은 데이터에서 정보를 배우는 과정입니다. 모델 학습 함수만 학습 데이터에 적용하고 전처리 기준은 전체 데이터로 만들었다면 평가 정보가 앞 단계에 들어갈 수 있습니다.
scikit-learn에서는 일반적으로 학습 부분에 fit 또는 fit_transform을 적용하고 평가 부분에는 학습된 변환기의 transform을 적용하는 흐름을 안내합니다. 중요한 것은 함수 이름 자체보다 어떤 데이터로 기준을 정했는지입니다.
날짜 문자열을 미리 정한 형식으로 해석하는 것처럼 데이터 집단의 통계를 배우지 않는 변환과도 구분할 필요가 있습니다. 모든 파일 처리를 무조건 같은 종류의 학습이라고 부르기보다 그 단계가 평가 데이터의 값을 이용해 결정되는지 질문해 봅니다.
3. 작은 숫자 예시로 경계를 확인합니다
직접 만든 가상 예시에서 학습 값이 10과 20이고 평가 값이 90이라고 가정하겠습니다. 결측값을 채우는 기준을 학습 값의 평균으로 정하면 15이지만 세 값을 모두 사용하면 40이 됩니다.
평가 값 하나가 학습 단계의 기준을 바꾼 셈입니다. 이 계산만으로 특정 모델의 점수가 얼마나 달라질지는 알 수 없으며 실제 성능 개선을 입증하는 실험도 아닙니다.
다만 전처리가 모델보다 앞에 있다는 이유로 평가 정보를 사용해도 되는 것은 아니라는 점을 보여 줍니다. 학습과 평가 각각의 평균을 따로 구하는 방식도 학습 때 정한 동일한 변환을 적용하는 흐름과는 다릅니다.
실습 노트에는 분할 전 원본, 학습에서 얻은 기준, 평가에 적용한 결과를 따로 적어 보면 어디에서 정보가 섞였는지 확인하기 쉽습니다.
4. 파이프라인은 경계를 지키는 도구입니다
scikit-learn의 Pipeline은 변환기와 마지막 추정기를 순서대로 연결합니다. 전처리를 파이프라인 안에 넣고 적절히 분할한 데이터로 학습하면 변환과 모델을 함께 관리하기 편합니다.
교차 검증에서도 각 학습 폴드 안에서 필요한 전처리가 적합되도록 구성하는 데 도움이 됩니다. 하지만 파이프라인을 사용했다는 사실만으로 모든 누수가 사라지는 것은 아닙니다.
이미 전체 데이터로 만든 특징을 입력하거나 미래 정보를 포함한 열을 넣었다면 그 문제까지 자동으로 판단해 주지는 않습니다. 가상의 실험 기록에는 파이프라인 밖에서 수행한 작업도 적어 두는 편이 좋습니다.
원본 집계와 특징 생성, 분할, 전처리, 학습을 한 흐름으로 그려 보면 도구가 관리하는 경계와 사용자가 검토해야 하는 경계를 구분할 수 있습니다.
5. 행을 섞는 것만으로 충분한지 살펴봅니다
데이터의 각 행이 서로 독립적인지에 따라 분할 방식도 검토해야 합니다. 가상으로 한 사람에게서 나온 여러 기록을 무작위로 나눴다면 같은 사람의 정보가 학습과 평가 양쪽에 들어갈 수 있습니다.
미래 시점의 예측을 목표로 하는데 나중 시점의 기록을 학습에 포함한 경우도 실제 사용 조건과 다를 수 있습니다. 그렇다고 모든 문제에 시간순 분할이나 사람별 분할 하나가 정답이라는 뜻은 아닙니다.
평가하려는 대상이 새로운 사람인지, 기존 사람의 미래 행동인지 먼저 정의해야 합니다. 분할 규칙은 성능 숫자를 높이는 장치가 아니라 앞으로 맞닥뜨릴 상황을 흉내 내기 위한 설계입니다.
데이터 수가 적다는 이유로 평가 목적과 맞지 않는 분할을 선택하면 점수의 해석이 어려워질 수 있으므로 가정과 한계를 함께 기록합니다.
6. 점수가 내려갔을 때 기록할 내용을 정합니다
누수가 의심되는 전처리를 수정한 뒤 평가 점수가 내려갈 수 있습니다. 이 변화만으로 수정이 실패했다고 판단하기보다 이전과 현재 실험이 같은 조건에서 비교 가능한지 살펴봅니다.
분할 대상, 특징 목록, 전처리 기준, 평가 지표가 달라졌는지 기록해야 합니다. 가상의 실험표에는 모델 이름보다 먼저 데이터 생성 시점과 분할 규칙을 적어 볼 수 있습니다.
수정 전 점수가 부풀려졌다는 판단 역시 원인 검토 없이 단정하지 않고 어떤 정보 경로를 차단했는지 설명합니다. 최종 평가 데이터를 반복적으로 보며 설정을 바꾸면 그 데이터에 맞춘 선택이 누적될 수 있다는 점도 고려합니다.
검증용 데이터와 최종 평가의 역할을 구분하고, 결과가 마음에 들지 않는다는 이유만으로 평가 경계를 계속 바꾸지 않는 것이 중요합니다.
7. 검토 순서를 데이터 흐름에 맞춥니다
처음 프로젝트를 검토할 때는 입력 열의 생성 시점, 분할 규칙, 데이터로부터 배우는 전처리, 특징 선택, 모델 선택 순서로 살펴보면 좋습니다. 각 단계 옆에 어떤 데이터에 접근했는지 적고 평가 데이터가 앞 단계의 결정에 영향을 주는 곳을 찾습니다.
실제 점검에서는 코드뿐 아니라 미리 만들어 둔 파일이나 SQL 집계도 확인 대상입니다. 학습 코드 밖에서 만든 자료에 미래 값이 섞여 있으면 모델 코드만 읽어서는 놓칠 수 있기 때문입니다.
작은 실습이라도 원본과 처리 결과를 구분해 보관하고 실험 조건을 남기면 재현에 도움이 됩니다. 데이터 누수 검토의 목적은 높은 점수를 의심하는 데서 끝나지 않습니다.
실제 예측 시점에 사용할 수 있는 정보만으로 같은 처리 과정을 실행할 수 있는지 설명할 수 있어야 합니다. 실험 리뷰에서는 높은 점수를 먼저 보여 주기보다 한 행의 데이터가 만들어져 평가에 들어가기까지의 경로를 설명해 봅니다.
집계 기준일과 예측 기준일이 다르면 시간 차이를 명시합니다. 전처리를 저장해 재사용하는 경우에는 그 파일이 어느 학습 데이터로 만들어졌는지도 연결합니다.
파일 이름에 최신이라고만 적기보다 실험 식별자를 남기면 다른 분할에서 만든 변환기를 섞어 쓰는 실수를 찾는 데 도움이 됩니다.
8. 자주 묻는 질문
Q1. 전처리는 모델 학습이 아니므로 전체 데이터에 해도 되나요?
데이터에서 평균이나 선택 기준 등을 배우는 단계라면 평가 정보가 들어갈 수 있습니다. 어떤 데이터로 기준을 적합했는지 확인해야 합니다.
Q2. 평가 데이터에도 fit을 해야 같은 처리가 되지 않나요?
학습에서 정한 변환을 평가에 적용하는 것과 평가에서 새 기준을 배우는 것은 다릅니다. 일반적으로 평가에는 학습된 변환기의 transform을 사용합니다.
Q3. Pipeline을 쓰면 누수 검토를 생략할 수 있나요?
생략할 수 없습니다. 파이프라인 밖의 특징 생성, 미래 정보, 평가 목적에 맞지 않는 분할은 별도로 검토해야 합니다.
Q4. 누수를 고친 뒤 점수가 낮아지면 어떻게 하나요?
수정한 정보 경로와 실험 조건을 기록합니다. 이전 점수와의 단순 비교보다 실제 사용 조건을 더 잘 반영하는 평가인지 확인하는 것이 중요합니다.
참고 자료
- 이전글RAG의 문서 분할, 청크 크기만으로 결정할 수 없는 것 26.09.18
- 다음글상태 저장과 무상태 서비스, 서버 교체 관점에서 이해하기 26.09.18
댓글목록
등록된 댓글이 없습니다.