RoBERTa: A Robustly Optimized BERT Pretraining Approach

💬 논문 내용과 이 글에 대한 의견 공유, 오탈자 지적 환영합니다. 편하게 댓글 남겨주세요 !

💬 ◽ 기호는 글 작성자의 개인적인 생각이며, ◾ 기호는 원문 내용입니다.

---

원문: https://arxiv.org/pdf/1907.11692.pdf

 

Abstract

◾ BERT 모델에 대해 재현 연구(replication study)를 수행하면서 데이터 크기, 주요 하이퍼파라미터가 결과에 어떤 영향을 주는지 확인

◾ BERT 모델이 undertrained되었으며 BERT 모델 발표 이후 나온 모델들의 성능을 능가한다는 것을 알게 됨

◾ 이전에 간과되던 모델 설계 방법의 중요성에 대해 강조 

 

◽ RoBERTa라는 새로운 모델을 제안한 것이 아니라 BERT 모델을 가장 좋은 방법으로 학습시킨 것

◽ 'undertrained'라는 표현은 말그대로 적게 학습(epoch 수가 적었다던지)됐다는 걸로 이해했고 학습을 더 시켜보니까 성능이 좋아지더라~ 이런 뜻으로 해석

 

Introduction

◾ Self-training 기법을 사용하는 ELMo, GPT, BERT, XLM, XLNet은 놀라운 성능 향상을 보여줌

◾ 1) 학습 비용이 비싸기 때문에 튜닝이 제한적이고 2) 다양한 크기의 private 데이터로 학습되는 경우도 있기 때문에 정확히 어떤 요소가 성능 향상에 크게 기여하는지 확인하기 어려움

◾ 하이퍼파라미터 튜닝과 학습 데이터 크기의 영향에 대한 careful evaluation을 포함하는 BERT 재현 연구 결과 제시

◾ BERT가 undertrain 됐다는 것을 발견했고 더 나은 학습 방법을 적용한 BERT 모델인 RoBERTa 제안

◾ RoBERTa 모델에 적용한 방법 - 1) 큰 배치와 많은 데이터로 오래 학습, 2) 다음 문장 예측 태스크 삭제, 3) 긴 문장으로 학습, 4) 학습 데이터에 적용되는 마스킹 패턴을 dynamic하게 변경

◾ 학습 데이터셋 크기가 주는 영향을 더 잘 관찰하기 위해 새로운 대규모 데이터셋 수집

◾ 여러 태스크에서 SOTA를 달성했기 때문에 BERT의 마스킹 언어 모델 학습 목표가 경쟁력을 가지고 있음

 

◽ 1) → 이것저것 튜닝하면서 매번 재학습시키기엔 시간이 너무 오래 걸림

◽ BERT의 마스킹 언어 모델 학습 목표가 경쟁력을 가지고 있음 → masked language model pretrain 방법으로 성능 향상을 이끌어 낼 수 있다는 의미로 해석

 

Background

BERT 논문에 대한 간단 요약이기 때문에 생략

 

Experimental Setup

생략

 

Training Procedure Analysis

◾ BERT 모델의 성공적인 사전학습에 가장 큰 영향을 주는 요소를 알아보기 위해 BERT base 모델로 실험 진행

 

1. Static vs Dynamic Masking

◾ 원본 BERT 모델은 데이터 전처리 과정에서 마스킹을 한 번만 수행하여 single static mask 생성

◾ 각 epoch마다 동일한 마스크를 사용하지 않도록 학습 데이터를 10번 복제하여 40 epochs 동안 10개의 다른 방식으로 마스킹 → 학습 중에 동일한 마스크를 4번 가짐

◾ 학습할 때마다 마스킹 패턴을 생성해서 적용하는 dynamic masking과 static masking 비교

◾ Dynamic masking은 더 많이 사전학습시키거나 더 큰 데이터셋을 사용할 때 중요함

◾ Dynamic masking이 static masking(원본 BERT 모델이 쓴 방법)과 비슷하거나 좀 더 나은 성능을 보였기 때문에 남은 실험에 모두 dynamic masking 사용

 

◽ A라는 시퀀스 하나에 마스킹 방식 1 적용해서 학습시키고 마스킹 방식 2 적용해서 학습시키고 이 과정 반복

 

실험 결과

 

2. Model Input Format and Next Sentence Prediction

◾ 원본 BERT 모델을 사전학습 시키는 단계에서 모델은 동일하거나 서로 다른 문서에서 연속적으로 샘플링된 두 개의 문장을 관찰

◾ 두 문장이 같은 문서에서 샘플링된건지, 다른 문서에서 샘플링된건지 맞추는 것을 목표로 학습됨

◾ NSP loss를 제거하면 성능이 크게 저하된다는 연구가 있었기 때문에 BERT 모델 학습의 중요한 요소로 생각되어 왔지만 NSP loss의 필요성에 의문을 제기한 연구 존재

◾ NSP loss 존재 유무에 따른 차이를 확인하기 위해 학습 형태를 바꾸면서 실험 진행 후 결과 확인 → segment pair+NSP, sentence pair+NSP, full-sentences, doc-sentences

◾ Sentence-pair 형태 말고 단일 문장을 사용할 경우 다운스트림 태스크에서의 성능이 저하됨

 

실험 결과

 

3. Training with large batches

◾ 신경망 기계 번역에 관한 이전 연구들은 학습률이 적절하게 증가할 때 미니 배치 크기를 크게 설정하는 것이 최적화 속도와 end-task 성능을 둘다 향상시킨다는 것을 보임

◾ BERT base 모델은 배치 크기 256, 1M(million) step으로 학습 진행

◾ 배치 크기를 키워서 학습시켰을 때의 퍼플렉서티 비교 → end-task 정확도와 마스킹된 언어 모델링의 퍼플렉서티를 향상시킨다는 것을 확인

◾ 배치 크기를 크게 잡아서 학습을 진행하는 것은 병렬화도 쉬움

 

실험 결과

4. Text Encoding

◾ Byte-Pair 인코딩은 문자 단위 표현과 단어 단위 표현을 함께 쓰는 방식으로 자연어 말뭉치(corpora)에서 일반적으로 사용되는 대용량의 어휘 처리 가능

◾ 원본 BERT 구현체는 휴리스틱 토큰화 규칙으로 입력 데이터를 전처리하고 3만 개의 문자 단위 BPE 어휘를 학습에 사용

◾ 입력에 추가적인 전처리나 토큰화 없이 5만 개의 서브워드 유닛을 포함하고 있는 바이트 단위 BPE 단어 사전을 사용하여 학습시킴

 

RoBERTa

◾ 이전 섹션에서 end-task 성능을 향상시키는 BERT 사전학습 단계의 수정 방법을 제안 → 제안한 개선 사항을 모두 합치고 합친 후의 영향을 평가

◾ 제안한 수정 사항을 모두 합친 구조를 RoBERTa라고 부름 → Robustly optimized BERT approach

◾ 위에서 제안한 개선 사항 외에도 이전 연구에서 중요성이 강조되지 않은 두 가지 요소 1) 사전 훈련에 사용된 데이터 수와 2) 학습 횟수 조사

 

기존 BERT모델, XLNet과 RoBERTa의 결과 비교

 

◾ GLUE, SQuAD, RACE에서 RoBERTa의 결과 확인

 

Related Work

생략

 

Conclusion

◾ BERT 모델을 사전학습 시킬 때 design decisions을 다양하게 하면서 모델 성능 평가 

◾ 1) 학습 데이터 양과 배치 크기를 늘리고 오래 학습시킬 때, 2) NSP 태스크가 없을 때, 3) 긴 문장으로 학습시킬 때, 4) 학습 데이터에 적용되는 마스킹 패턴을 다이나믹하게 변경했을 때 성능이 향상됨

◾ RoBERTa는 GLUE로 여러 태스크에 대한 파인튜닝을 하지 않고 SQuAD에 대한 추가적인 데이터를 쓰지 않아도 GLUE, RACE, SQuAD에서 SOTA 달성 

◾ 위의 결과들은 design decisions의 중요성이 간과되었다는 것을 말해주고 있으며 BERT의 사전학습 목표가 여전히 경쟁력 있다는 것을 보여줌