[번역] Micro, Macro & Weighted Averages of F1 Score, Clearly Explained

💬 최대한 매끄럽게 해석하고자 노력했지만 어색한 문장이 있을 수 있습니다. 피드백은 언제나 환영입니다 🙂

---

원본 글 주소: https://towardsdatascience.com/micro-macro-weighted-averages-of-f1-score-clearly-explained-b603420b292f

Micro, Macro & Weighted Averages of F1 Score, Clearly Explained

 

F1 Score(F-measure라고도 함)는 분류 모델의 성능 평가에 많이 사용되는 평가 지표입니다. 다중 클래스 분류의 경우, F1 score 계산을 위해 서로 다른 평균화 방법(macro, weighted, micro)을 사용하여 분류 결과를 확인합니다. 이 글에서는 각 평균의 의미와 계산 방법, 결과 분석을 위해 무엇을 골라야 하는지에 대해 알아봅니다.

 

복습(Optional)

* Layman definition: 비전문가적인 정의; 쉬운 정의

 

Precision

Layman definition: 예측 결과가 positive인 것 중 실제 positive의 수

 

계산:

 

Recall

Layman definition: 실제 positive인 것 중 예측 결과도 positive인 것의 수

 

계산:

Precision과 recall의 수식은 굉장히 유사해 보입니다. 유일한 차이점은 분모의 두 번째 항이 precision에서는 False Positive이고 recall에서는 False Negative라는 것입니다.

 

F1 Score

모델 성능을 종합적으로 평가하려면 precision과 recall을 모두 확인해야 합니다. F1 Score는 두 값을 모두 고려하는 유용한 평가 지표 역할을 합니다.

 

정의: 모델 성능의 균형 잡힌 요약을 위한 precision과 recall의 조화 평균

 

계산:

 

TP, FP, FN으로 F1 Score를 표현한다면 다음과 같은 식을 얻을 수 있습니다.

 

예시 설정

평균 F1 Score의 개념을 이해하기 위해 이 튜토리얼에서는 아래 예시를 사용합니다.

 

비행기, 배, 자동차 3개의 클래스를 가진 멀티 클래스 데이터셋으로 이미지 분류 모델을 학습시킨다고 상상해보세요. 10개의 테스트 이미지 클래스를 분류하기 위해 이 모델을 사용합니다.

 

출처: https://towardsdatascience.com/micro-macro-weighted-averages-of-f1-score-clearly-explained-b603420b292f

 

sklearn.metrics.classfication_report 명령어를 실행하면 아래의 분류 리포트를 얻을 수 있습니다.

 

출처: https://towardsdatascience.com/micro-macro-weighted-averages-of-f1-score-clearly-explained-b603420b292f

  

클래스별 점수(주황색 컬럼)와 평균 점수는 우리가 내리게 될 결정의 초점입니다.

 

10개의 테스트 이미지 목록을 보면 데이터셋이 불균형한 것을 확인할 수 있습니다.(10개 이미지 중 단 하나만이 '배' 클래스에 해당) 따라서 예측과 정답의 일치 비율(정확도)은 모델 성능을 평가하는 데 효과적인 방법이 아닙니다.

 

대신 모델 예측에 대한 전체적인 이해를 위해 confusion matrix를 살펴봅시다.

 

출처: https://towardsdatascience.com/micro-macro-weighted-averages-of-f1-score-clearly-explained-b603420b292f

 

위의 confusion matrix를 이용하면 아래와 같이 True Positive(TP), False Positive(FP) 및 False Negative(FN)의 임계값을 구할 수 있습니다.

 

출처: https://towardsdatascience.com/micro-macro-weighted-averages-of-f1-score-clearly-explained-b603420b292f

 

위 표는 3개의 클래스 각각에 대한 preicision, recall 그리고 F1 Score의 클래스별 값을 잘 계산할 수 있게 합니다.

 

다중 분류에서는 이진 분류처럼 전체에 대한 하나의 F1 Score 대신 OvR(One-vs-Rest) 접근 방식으로 각 클래스에 대한 F1 Score를 계산한다는 것이 중요한 점입니다.

 

OvR 방식에서는 각 클래스에 다른 분류기가 있는 것처럼 성능을 개별적으로 결정합니다. 클래스별 성능은 다음과 같습니다.

 

출처: https://towardsdatascience.com/micro-macro-weighted-averages-of-f1-score-clearly-explained-b603420b292f

 

하지만 클래스별로 여러 개의 F1 Score를 갖는 대신, 전체 성능을 나타내는 하나의 숫자를 얻기 위해 평균을 취하는 것이 더 나을 것 같습니다.

 

이제 분류 리포트의 세 가지 평균 F1 Score로 이어진 평균화 방법에 대해 알아보겠습니다.

 

Macro Average

Macro Averaging은 아마 수많은 평균화 방법 중 가장 간단 방법일 것입니다.

 

Macro-averaged F1 Score(또는 macro F1 Score)는 모든 클래스의 산술 평균(가중치를 두지 않는 평균)을 이용해 계산됩니다.

 

이 방법은 각 클래스의 support value에 관계없이 모든 클래스를 동등하게 처리합니다.

 

출처: https://towardsdatascience.com/micro-macro-weighted-averages-of-f1-score-clearly-explained-b603420b292f

 

위에서 계산한 값 0.58은 분류 리포트에서의 macro avg와 동일합니다.

 

출처: https://towardsdatascience.com/micro-macro-weighted-averages-of-f1-score-clearly-explained-b603420b292f

 

Weighted Average

Weighted-averaged F1 Score는 각 클래스의 support를 고려하여 모든 클래스의 F1 Score 평균을 구합니다.

 

Support는 데이터셋에서 클래스의 실제 발생 횟수를 나타냅니다. 예를 들어, '배'의 support value가 1이라면 '배' 레이블이 있는 관측치가 하나임을 의미합니다.

 

'Weight'는 전체 support value에 대한 클래스의 상대적인 support 비율을 나타냅니다.

 

출처: https://towardsdatascience.com/micro-macro-weighted-averages-of-f1-score-clearly-explained-b603420b292f

 

Weighted averaging의 경우, 출력된 평균은 주어진 클래스에 해당하는 데이터 수에 따라 가중치가 부여된 각 클래스의 기여도에 대해 설명하고 있을 것입니다.

 

위에서 계산한 값 0.64는 분류 리포트에서의 weighted avg와 동일합니다.

 

Micro Average

Micro Averaging은 TP, FN, FP 각각의 총합을 구해 global average F1 Score를 계산합니다.

 

먼저 모든 클래스에 대해 상대적인 TP, FP, FN을 구하고 micro F1 Score를 얻기 위해 F1 공식에 값을 대입합니다.

 

출처: https://towardsdatascience.com/micro-macro-weighted-averages-of-f1-score-clearly-explained-b603420b292f

 

분류 리포트에서 micro F1 Score 값인 0.6이 왜 micro avg가 아닌 accuracy로 표기되어 있는지 궁금할 것입니다.

 

출처: https://towardsdatascience.com/micro-macro-weighted-averages-of-f1-score-clearly-explained-b603420b292f

 

이러한 이유는 micro averaging이 모든 관측치 중에서 정확하게 분류한 것의 비율을 계산하기 때문입니다. 이 점을 생각한다면 micro averaging의 정의는 전체 accuracy 계산을 위해 사용하는 것입니다.

 

또한, precision과 recall에 micro averaging을 적용해도 0.6이라는 같은 값을 얻게 됩니다.

 

출처: https://towardsdatascience.com/micro-macro-weighted-averages-of-f1-score-clearly-explained-b603420b292f

 

이 결과는 각각의 관측치가 하나의 레이블(비행기 or 배 or 차)만을 가지는 다중 분류 문제에서 micro-F1, micro-precision, micro-recall과 accuracy는 모두 같은 값을 가진다는 것을 의미합니다. (이 예제에서는 0.6)

 

그리고 이는 micro-F1, micro-precision, micro-recall이 동일한 값이기 때문에 분류 리포트도 하나의 accuracy 값만 표시하면 되는 이유입니다. 

 

어떤 average 방법을 골라야 할까?

모든 클래스가 똑같이 중요한 불균형 데이터셋으로 작업하게 된다면 모든 클래스를 동등하게 처리하는 macro average가 좋은 선택지가 될 것입니다. 이것은 비행기, 배, 자동차 분류와 관련된 예제일 경우 macro-F1 Score를 사용한다는 것이라는 의미합니다.

 

만약 불균형한 데이터셋이면서 개수가 더 많은 클래스에 높은 기여도를 주고 싶다면, weighted average가 선호됩니다. Weighted averaging에서는 클래스별 개수에 따라  F1 평균에 대한 각 클래스의 기여도에 가중치가 부여되기 때문입니다.

 

만약 데이터셋의 균형이 잘 맞고 클래스에 상관없이 전체 성능을 쉽게 이해하고자 한다고 가정해봅시다. 이런 경우에는 micro F1 Score인 accuracy를 사용할 수 있습니다.