[정리] train_test_split을 이용한 데이터셋 분할

Bagging 실습하다가 데이터셋 분할 순서 때문에 에러 메시지를 만난 적이 있는데(무려 두 달 전) 이제서야 정리한다.

 

 

from sklearn.model_selection import train_test_split
from sklearn.datasets import load_breast_cancer

import numpy as np

 

데이터는 두 달 전에 썼던 거 그대로 불러왔고 필요한 모듈만 import해줬다.

 

 

위스콘신 유방암 진단 데이터셋에는 총 569개의 데이터가 있는 것을 확인했다.

 

X_train, X_test, y_train, y_test = train_test_split(dataset.data, dataset.target)

 

train_test_split을 써서 데이터셋을 나누는데, 순서의 중요성만 확인하기 위한 실습이므로 어떤 인자도 설정하지 않고 나눌 데이터만 넣어주었다.

 

⭐ test_size 값을 정하지 않을 경우 default인 0.25가 적용됨

 

결과

1) X_train, X_test, y_train, y_test

 

- test_size 기본 값이 0.25니까 전체 데이터의 25%를 테스트 데이터로 쓴다는 뜻이다.

- 569*0.25 = 142.25 → X, y 모두 143개의 테스트 데이터

 

2) X_train, y_train, X_test, y_test

 

- train_test_split으로 분할한 데이터는 변수의 지정 순서대로 들어가는데 train끼리, test끼리 묶어버리면 X, y 모두 전체 데이터를 train용으로도 쓰고 test용으로도 쓴다는 뜻이 돼버린다.

- 데이터셋은 나눠지겠지만 과거의 내가 그랬던 것처럼 샘플 수가 안 맞다는 에러를 마주할 수 있다.

 

결론

train_test_split 사용 시 train, test 순서로 데이터를 넣어주어야 한다!

 

참고 사이트

https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.train_test_split.html