학습·검증·테스트 데이터, 세 가지로 나누는 이유
페이지 정보
본문
머신러닝 모델이 이미 본 데이터에서 잘 맞힌다고 새로운 입력에서도 같은 성능을 낸다고 볼 수는 없습니다. 모델을 만드는 과정과 새로운 데이터에 대한 평가를 구분하기 위해 데이터를 나눕니다.
학습, 검증, 테스트라는 이름은 단순히 파일을 세 개 만든다는 뜻이 아니라 각 자료를 어떤 결정에 사용할지 정하는 규칙입니다. 평가 결과를 읽을 때는 점수뿐 아니라 데이터가 어떤 역할로 사용됐는지 함께 확인해야 합니다.
AI 생성 삽화 · 학습·검증·테스트 데이터, 세 가지로 나누는 이유 관련 설명용 이미지입니다.
핵심 정리
학습은 모델을 맞추는 데, 검증은 선택과 조정에, 테스트는 최종 평가에 사용하며 정보가 섞이지 않도록 관리합니다.
1. 학습 데이터는 모델을 맞추는 데 씁니다
학습 데이터는 모델의 매개변수를 맞추는 과정에 사용됩니다. 정답이 있는 지도학습이라면 입력과 목표값의 관계를 학습하도록 구성합니다.
학습 점수가 높아지는 것은 필요한 과정이지만, 그것만으로 일반화가 잘된다고 단정하지 않습니다. 학습 자료의 특수한 패턴에 지나치게 맞춰지는 과적합 가능성도 살펴야 합니다.
모델이 보지 않은 자료에서 어떻게 동작하는지 따로 확인하는 이유입니다.
학습 자료를 설명할 때는 파일 이름보다 한 행이 무엇을 의미하는지 먼저 적어봅니다. 한 사람의 여러 기록인지 서로 다른 대상의 기록인지에 따라 평가에서 분리할 단위가 달라질 수 있습니다.
예를 들어 같은 상품을 다른 각도로 촬영한 사진이 있다면 파일이 다르다는 이유만으로 독립적인 새 상품의 평가 자료라고 보기 어렵습니다. 이때 목표가 같은 상품의 새 사진을 분류하는 것인지 처음 보는 상품을 분류하는 것인지부터 정합니다.
무엇을 새로운 입력으로 볼지 명확해야 나눈 자료의 의미도 설명할 수 있습니다.
2. 검증 데이터는 선택 과정에 사용합니다
모델의 설정이나 여러 후보를 비교할 때 검증 데이터를 사용할 수 있습니다. 학습 데이터로 맞춘 모델을 검증 자료에서 평가하고 어떤 구성이 나은지 판단합니다.
이 과정에서 검증 결과를 반복해서 참고하므로 검증 데이터도 선택 과정의 영향을 받습니다. 검증 점수가 좋다는 이유만으로 최종 성능을 확정하기보다, 별도로 남겨둔 테스트 자료에서 확인할 단계가 필요합니다.
검증 결과를 보며 결정한 내용은 간단한 실험표에 남깁니다. 후보 이름, 바꾼 설정, 사용한 검증 자료, 점수와 선택 이유를 적는 방식입니다.
마지막에 좋은 점수 하나만 남기면 어떤 선택 과정을 거쳤는지 설명하기 어렵습니다. 같은 자료를 반복해서 보면서 특수한 오류에 맞춰 선택했는지도 검토합니다.
모델 이름이 같더라도 입력 특징이나 전처리를 바꾸었다면 다른 후보로 기록하는 편이 좋습니다. 실험표의 목적은 점수를 많이 쌓는 것이 아니라 선택에 사용한 정보를 확인할 수 있게 만드는 데 있습니다.
3. 테스트 데이터는 마지막 평가를 위해 남깁니다
테스트 데이터를 보면서 계속 모델과 설정을 바꾸면 그 자료도 사실상 선택에 사용된 셈입니다. 최종 평가의 독립성을 유지하려면 어느 시점에 테스트를 열고 무엇을 보고할지 정해야 합니다.
결과가 기대와 다르다는 이유로 같은 테스트 자료에 맞춰 반복 조정하면 점수 해석이 달라집니다. 평가 기록에는 사용한 데이터 범위와 모델 선택 과정을 함께 남기는 편이 좋습니다.
테스트를 열기 전에는 무엇을 최종 결과로 보고할지 메모해 두는 방법을 사용할 수 있습니다. 평가 대상 모델과 지표, 자료 범위가 정해져 있으면 결과를 본 뒤 기준을 바꾼 경우가 드러납니다.
예상보다 낮은 점수가 나왔다면 그 사실 자체가 새로운 자료에 대한 단서입니다. 결과가 마음에 들지 않는다는 이유로 특정 사례를 제외하고 처음부터 같은 평가였다고 설명하지 않습니다.
자료 오류가 발견되어 평가를 수정했다면 변경 이유와 적용 범위를 함께 기록해 이전 결과와 구별합니다.
4. 전처리에서도 정보가 섞일 수 있습니다
데이터를 나눴더라도 평균이나 변환 기준을 전체 자료에서 계산하면 테스트 정보가 학습 과정에 들어갈 수 있습니다. scikit-learn 문서는 전처리의 학습은 학습 데이터에서 하고, 같은 변환을 나머지 자료에 적용하는 방식을 설명합니다.
학습과 테스트에 서로 다른 기준을 임의로 맞추는 것도 문제입니다. 데이터 누수는 정답 열을 잘못 넣는 경우뿐 아니라 전처리 순서에서도 생길 수 있다는 점을 기억할 필요가 있습니다.
전처리의 구체적인 예로 숫자 특징의 평균을 이용하는 변환을 생각해 볼 수 있습니다. 학습용 부분에서 계산한 기준을 검증과 테스트에도 적용해야 이후 자료를 미리 본 효과를 줄일 수 있습니다.
자료마다 평균을 새로 맞추는 것은 같은 변환을 적용하는 것과 다릅니다. scikit-learn의 Pipeline은 전처리와 모델을 연결해 이런 순서를 관리하는 데 도움이 됩니다.
다만 파이프라인이라는 도구를 쓴다는 사실만으로 중복 자료나 잘못된 분할 단위까지 자동으로 해결되는 것은 아니므로 데이터 구성 검토는 별도로 필요합니다.
5. 나누는 단위도 문제에 맞춰 봅니다
자료가 시간 순서나 같은 대상의 반복 기록으로 구성되어 있다면 단순히 행을 섞는 방식이 적절한지 검토해야 합니다. 예를 들어 같은 대상을 거의 같은 조건에서 기록한 자료가 양쪽에 나뉘면 평가가 실제 사용 상황을 충분히 보여주는지 의문이 생길 수 있습니다.
이는 분할 비율 하나로 해결되는 질문이 아닙니다. 실제 서비스에서 어떤 새로운 입력을 맞혀야 하는지를 먼저 정의하고 분할 기준을 정합니다.
시간에 따른 예측 문제라면 배포 시점에 사용할 수 없던 정보가 특징에 섞이지 않았는지 생각해 봅니다. 가령 다음 달의 결과를 예측하는 실험에서 결과가 확정된 뒤 정리한 값을 입력에 넣었다면 실제 사용 조건과 다릅니다.
단순히 날짜 열을 지웠다고 문제가 사라지는 것도 아닙니다. 각 특징이 언제 생성되고 언제 이용 가능했는지 설명할 수 있어야 합니다.
분할 계획에는 날짜 범위 외에 대상의 중복 여부와 특징의 생성 시점도 적어두면 실험을 검토하는 사람이 같은 전제를 이해하기 쉽습니다.
6. 가상의 분류 실험으로 정리합니다
사진을 분류하는 실험을 생각해 볼 수 있습니다. 학습 자료로 모델을 만들고 검증 자료로 후보를 비교한 다음 선택한 모델을 테스트 자료에 평가합니다.
테스트를 확인한 뒤 설정을 다시 바꿨다면 그 사실을 평가 기록에 남겨야 합니다. 자료를 더 모으거나 평가 계획을 수정할 수도 있지만, 처음 계획한 독립 평가와 같은 결과인 것처럼 보고하지 않습니다.
실험의 순서가 점수의 의미를 결정합니다.
7. 비율보다 역할과 재현성을 먼저 적습니다
모든 프로젝트에 통하는 하나의 분할 비율을 외우기보다 각 데이터의 역할과 나누는 기준을 기록합니다. 어떤 자료가 포함됐는지, 어떤 전처리를 어디에서 학습했는지, 모델 선택에 무엇을 참고했는지가 중요합니다.
같은 실험을 다시 확인할 수 있는 정보도 보관합니다. 학습·검증·테스트 구분은 파일 관리 규칙이 아니라 모델을 만드는 과정과 평가 결과를 신뢰할 수 있게 설명하는 기본 구조입니다.
8. 자주 묻는 질문
Q1. 학습·검증·테스트를 항상 같은 비율로 나눠야 하나요?
모든 문제에 적용되는 하나의 비율은 없습니다. 데이터 규모와 평가 목적, 시간이나 대상의 중복 관계를 살피고 각 부분이 어떤 결정에 사용되는지 먼저 정합니다.
Q2. 테스트 점수를 보고 모델을 고쳐도 되나요?
수정할 수는 있지만 그 테스트 결과가 선택에 쓰였다는 사실을 인정해야 합니다. 수정한 모델의 성능을 처음 계획한 독립 평가와 동일하게 보고하지 말고 이후 평가 계획과 변경 과정을 기록합니다.
Q3. 정답 열을 빼면 데이터 누수는 없는 것인가요?
전처리 기준이나 특징 생성 시점, 중복 자료를 통해서도 정보가 섞일 수 있습니다. 실제 예측 시점에 알 수 있는 입력인지와 변환 기준을 어느 자료에서 학습했는지를 함께 확인합니다.
Q4. 랜덤 시드만 기록하면 같은 실험을 재현할 수 있나요?
시드 외에도 데이터 버전과 분할 목록, 전처리, 모델 설정과 실행 환경 등의 기록이 필요합니다. 재현에 필요한 항목을 보관하고 변경된 조건이 있다면 이전 실험과 구분합니다.
참고 자료
- 이전글정밀도와 재현율 차이, 분류 결과의 분모부터 이해하기 26.09.12
- 다음글Docker 이미지와 컨테이너의 차이, 실행 상태까지 구분하기 26.09.12
댓글목록
등록된 댓글이 없습니다.