EDA: Easy Data Augmentation Techniques for Boosting Performance on Text Classification Tasks

💬 논문 내용과 이 글에 대한 의견 공유, 오탈자 지적 환영합니다. 편하게 댓글 남겨주세요 !

---

원문: https://aclanthology.org/D19-1670.pdf

 

1 Introduction

▪️ 머신러닝과 딥러닝은 감성분석부터 토픽 분류까지 NLP 분야에서 높은 정확도를 달성했지만, 높은 성능은 종종 학습 데이터의 양과 퀄리티에 달려 있음

 

▪️ 자동 데이터 증강(Automatica data augmentation)은 컴퓨터 비전과 음성 분야에서 많이 사용되지만 언어 변환을 위한 일반적인 규칙을 만드는 것은 어렵기 때문에 NLP 분야에서 일반적인 데이터 증강 기법은 완전히 연구된 적이 없음

 

▪️ 논문을 통해 EDA(Easy Data Augmentation)라고 부르는 간단한 NLP 데이터 증강 기법 제시

 

2 EDA

▪️ 학습 데이터셋에서 주어진 문장에 대해 아래 방식 중 랜덤하게 고른 하나를 적용함

 

 

① Synonym Replacement(SR): 문장으로부터 랜덤하게 불용어가 아닌 n개의 단어 선택 후 각 단어를 임의로 선택한 동의어 중 하나로 교체

* Synonym: 동의어, 유의어

 

② Random Insertion(RI): 문장에서 불용어가 아닌 단어들 중 랜덤하게 고른 단어의 synonym을 찾아서 문장 내 랜덤한 위치에 삽입하는 과정을 n번 반복

 

③ Random Swap(RS): 문장 내 두 단어를 고르고 단어 간 위치를 바꾸는 과정 n번 반복

 

④ Random Deletion(RD): p의 확률로 문장 내 단어 삭제

 

▪️ 긴 문장은 짧은 문장보다 많은 단어로 이루어져 있기 때문에 노이즈(위에서 말한 변경 작업을 의미하는 것 같음)가 있더라도 원래의 레이블을 유지하며 노이즈에 덜 예민한 특성이 있음

 

▪️ 위의 상황을 위해 SR, RI, RS의 경우 문장의 길이 l과 문장 내 변화될 단어의 비율을 의미하는 α를 이용해 n(=αl)을 결정

 

▪️ 원본 문장에 대해 $n_aug$개의 증강 문장 생성

 

▪️ 동의어/유의어 교체 방법은 이전에도 많이 사용된 방법이지만, 논문 저자들이 알고 있는 한도 내에서 RI, RS, RD 기법은 다양하게 연구된 적이 없다고 언급

 

3 Experimental Setup

▪️ EDA 기법을 평가하기 위해 5개의 텍스트 분류 벤치마크, 2개의 모델 구조 선정

 

1. Benchmark Datasets

(1) SST-2: Standford Sentiment Treebank

(2) CR: Customer reviews

(3) SUBJ: Subjectivity/objectivity dataset

(4) TREC: Question type dataset

(5) PC: Pro-Con dataset

 

▪️ EDA 기법이 데이터셋이 적은 경우 더욱 효과적이라고 가정 → $N_train$={500, 2,000, 5,000, 사용 가능한 모든 데이터} 안에 정의된 값으로 학습 데이터셋 크기 지정하여 실험

 

2. Text Classification Models

(1) RNN

(2) CNN

 

4 Results

1. EDA Makes Gains

▪️ EDA를 적용하지 않은 기본 모델의 정확도와 EDA를 적용한 모델의 평균 성능을 비교했을 때 모든 Training Set Size에서 EDA를 적용한 모델의 성능 향상

2. Training Set Sizing

▪️ 오버피팅은 데이터셋이 적은 상태로 학습할 때 잘 일어나는 경향이 있으며, 쓸 수 있는 학습 데이터의 비율을 제한하는 실험을 통해 EDA가 데이터가 적은 경우에 효과적이라는 것을 증명

 

▪️ 학습 데이터셋의 비율을 {1, 5, 10, 20, 30, 40, 50, 60, 70, 80, 90, 100}으로 조절하면서 학습 진행

 

 

3. Does EDA conserve true labels?

▪️ 데이터 증강 시 입력 문장의 레이블은 유지하면서 입력 데이터의 내용만 변경되어야 함

 

▪️ 하지만 입력 문장이 많이 변경된다면 원래 문장의 레이블은 더이상 유효하지 않음 → EDA 기법이 문장의 원래 의미를 바꾸는지 확인하기 위한 시각적 접근 시도

 

▪️ 증강 없이 RNN 모델을 이용해 pro-con 분류 태스크를 학습하고 테스트 데이터셋에 EDA 기법을 적용해 한 문장당 9개의 증강 문장 생성

→ EDA 기법을 통해 생성된 pro-con 데이터셋이 전반적으로 원본 데이터셋의 분포를 따라감

 

 

4. Ablation Study: EDA Decomposed

▪️ 각 기법이 성능에 주는 영향을 파악하기 위한 Ablation study 수행

 

▪️ 동의어/유의어 교체(SR) 기법은 다른 세 가지 기법보다 많이 사용되어 왔기 때문에 EDA의 성능 향상은 대부분 SR에서 온다고 생각할 수 있으므로 각 기법별로 나누어 실험

 

▪️ 하나의 기법에 대해 '문장 내 변경되는 단어의 비율'만 다양하게 바꾸면서 결과 확인

 

 

▪️ 위의 그래프를 통해 4가지 EDA 기법이 모두 성능을 향상시킨다는 점 확인 가능

 

5. How much augmentation?

▪️ 기존 문장 하나 당 생성된 증강 문장 수 $n_aug$가 성능에 어떤 영향을 끼치는지 확인하고자 함

 

▪️ 적은 데이터셋: 증강 문장이 많을수록 더 큰 성능 향상

 

▪️ 많은 데이터셋: 4개 이상의 증강 문장을 생성하는 것은 도움이 되지 않음

 

 

5 Comparison with Related Work

생략