[개념] Crossentropy

crossentropy

선형 회귀 모델과 다르게 이름에는 회귀가 들어가지만 실제로는 분류 문제인 로지스틱 회귀에 사용되는 손실함수가 crossentropy이다.

 

 

binary_crossentropy

x = [-2.2, -1.4, -0.8, 0.2, 0.4, 0.8, 1.2, 2.2, 2.9, 4.6] 인 X가 있을 때 각 점에 아래 그림과 같이 빨간색 혹은 초록색의 색상을 부여한다고 가정하자. 

 

출처 - https://towardsdatascience.com

 

우리가 해결해야 분류 문제는 X(feature)가 주어졌을 때 그 점의 색상(label)을 맞추는 것으로 명확해진다. 빨간색과 초록색 둘 중 하나의 경우로 분류를 하는 것이기 때문에 이진 분류에 해당하며 위 예시에서는 초록색을 1, 빨간색을 0이라고 한다. 모든 X 요소에 대해 각각의 요소가 초록색일 확률(p)과 빨간색일 확률(1-p)를 계산하는 손실함수가 binary_crossentropy라고 할 수 있다.

 

binary_crossentropy 사용 시 모델의 마지막 dense를 2로 해주지 않으면 에러가 뜨기 때문에 모든 레이어를 쌓고 나서 마지막에 두 갈래로 나올 수 있도록 만들어줘야 한다. (원문: https://peterleeeeee.github.io/categorical_cross_entropy/)

 

categorical_crossentropy

클래스가 3개 이상인 Multi-class 분류 시 훈련 데이터의 label이 원-핫 벡터 형태로 제공될 때 사용하는 손실함수

 

sparse_categorical_crossentropy

Multi-class 분류 시에 사용된다는 점이 categorical_crossentropy와 동일하지만 훈련 데이터의 label이 정수형일 때 사용하는 손실함수