[kaggle] Intro to Machine Learning

 

kaggle(www.kaggle.com/)의 Intro to Machine Learning 코스를 정리한 내용입니다.

자체 번역으로 공부하다보니 의미가 제대로 전달되지 않은 부분이 있을 수 있습니다.

잘못된 내용, 의견을 나눠보고 싶은 내용, 오타 등이 있다면 편하게 댓글로 남겨주세요 =)

 

 

---

 

1. How Models Work

 

'침실이 2개인가?' 라는 질문의 답에 따라 집의 예측 가격을 두 갈래로 나눌 수 있다고 가정한다면, 각 갈래에 어떤 집을 넣을 것인지 결정하기 위해서는 데이터를 사용해야 한다. 그리고 나눠진 그룹 안에서 패턴(침실 개수와 같은 조건들)에 따라 또다시 예측 가격을 결정하게 될 것이다.

데이터로부터 패턴을 찾아내는 과정은 모델의 fitting 혹은 training, 이 과정에서 사용되는 데이터는 training data라고 부른다.

 

 

Improving the Decision Tree

 

두 결정트리 중에서 현실성이 있는 것은 왼쪽이지만 침실의 개수만이 집 가격에 영향을 미치는 요소는 아니기 때문에 split(쪼개진, 갈라진, 분해)을 통해 아래 사진과 같이 좀 더 깊은 형태의 트리를 만들 수 있다. 

 

deeper trees

 

2. Basic Data Exploration

데이터를 다루는 데에 꼭 필요한 툴인 Pandas에서는 DataFrame을 제공해준다.

(Pandas.DataFrame에 관한 자세한 정보는 → ⭐)

 

아래와 같은 과정으로 데이터를 읽을 수 있고 describe() 메서드는 생성한 DF의 간단한 통계를 보여준다.

# save filepath to variable for easier access
melbourne_file_path = '../input/melbourne-housing-snapshot/melb_data.csv'

# read the data and store data in DataFrame titled melbourne_data
melbourne_data = pd.read_csv(melbourne_file_path) 

# print a summary of the data in Melbourne data
melbourne_data.describe()

 

3. Your First Machine Learning Model

Selecting Data for Modeling

데이터셋은 너무 많은 정보를 가지고 있기 때문에 필요한 정보만을 골라서 사용하는 게 필요하다.

위 이미지는 melbourne_data라는 데이터셋에서 column(열) 항목만을 보여주는 코드와 그 결과이다.

 

아직도 종종 헷갈리는 column과 row,,, (출처: https://docs.devexpress.com/)

 

Selecting The Prediction Target

우리가 예측하고자 하는 열 선택을 위해 dot-notation을 이용해 접근할 것이고 새로운 변수 y는 예측 타겟이라고 부른다.

 

 

Choosing "Features"

모델에 입력되어 예측을 생성하는 데에 사용되는 열을 Features라고 한다. Features는 리스트의 형태로 여러 개를 선택할 수도 있으며 이 경우에는 각각의 아이템들이 string 형태여야만 한다.

 

 

Building Your Model - 모델의 생성과 사용을 위해 거치는 단계

• Define : 모델 타입 지정
• Fit : 의사결정트리 모델 생성
• Predict : 예측
• Evaluate : 모델의 예측 정확도 평가

 

4. Model Validation

What is Model Validation

모델 퀄리티 평가를 위해 많이 사용되는 척도는 MAE(Mean Absolute Error)로 error는 실제 값과 예측값의 차이로 구한다. MAE를 구하려면 모델이 생성되어야 하고 사이킷런에서 제공하는 mean_absolute_error를 이용해 계산할 수 있다.

오차가 굉장히 작아보이지만 여기에는 한가지 큰 문제점이 존재한다.

 

이 코드에서 predicted_home_prices를 만드는 데에 사용된 X는 모델 학습에 사용된 값이다. 즉 이미 학습된 값을 다시 모델에 넣었기 때문에 오차가 낮게 나온 것이다. 

이 문제를 해결하기 위해서 모델 생성에 사용되지 않은 데이터를 가지고 모델의 성능을 평가할 것이고 이 데이터는 validation data라고 부른다.

 

train_test_split 사용 예시

사이킷런에서 제공하는 train_test_split 함수를 이용해 데이터를 training/validation 두 가지 형태로 나누어준다.

train 데이터로 학습을 끝낸 모델의 성능 중간 점검에 validation 데이터가 사용되는 것이라고 할 수 있다. 모델의 최종 성능 평가는 test 데이터를 이용하는데 train, validation, test 이 세가지 데이터에 대한 내용은 글 하나를 따로 쓰도록 하겠다.

 

5. Underfitting and Overfitting

Underfitting	Overfitting
train 데이터를 제대로 학습하지 못해서 train 데이터에 대한 성능조차 떨어지는 문제	train 데이터에 대해서는 매우 높은 정확도를 갖지만 완전히 새로운 데이터는 정확도가 떨어지는 문제

 

6. Random Forests

랜덤 포레스트에 대해서는 아예 하나의 글로 쓰고 있어서 다 작성하면 링크를 추가해놓는걸로!