BERT: Pre-training of Deep Bidirectional Transformers forLanguage Understanding

논문 읽기 엄청 오랜만이다. BERT 기반 사전학습모델 써보려고 하다가 관련 개념을 하나도 모르니까 모델 입력에 뭐가 들어가는지~ 데이터 형태를 어떻게 맞춰줘야 하는지~ 너무 이해가 안 되는 부분이 많아서 논문 본인등판시킴

 

💬 논문 내용과 이 글에 대한 의견 공유, 오탈자 지적 환영합니다. 편하게 댓글 남겨주세요 !

---

원문: https://arxiv.org/pdf/1810.04805.pdf

 

■ : 아직 바로 이해 안 되는 부분 

Introduction

1. Pre-train된 언어 표현을 하위 태스크에 적용하는 2가지 방법 존재

 

1) Feature-based

- Pre-trained representations을 포함하는 task-specific 구조를 추가적인 feature로 사용

- 예: ELMo

 

2) Fine-tuning

- 최소한의 task-specific 파라미터를 사용하고 사전학습된 파라미터들을 파인튜닝하여 하위 태스크에 적용

- 예: GPT

 

2. (논문이 나온 시점에서) 연구된 방법들은 사전학습된 표현의 효과를 잘 활용하지 못하고 있음

- 일반적인 언어 모델의 최대 제약은 단방향(unidirectional)이라는 것이고 이 특징은 사전학습에 사용될 수 있는 모델 구조 제한

- 의미 파악을 위해 양쪽을 모두 확인해야 하는 태스크에 매우 치명적

 

3. 단방향 언어모델의 한계를 해결하기 위해 양방향 인코더를 사용하는 BERT 제안

 

BERT

사전학습 단계와 파인튜닝 단계

* 모델 요약

 

1) 구조

- 멀티레이어 양방향 트랜스포머 인코더

- 모델 사이즈에 따라 $ BERT_{BASE} $, $ BERT_{LARGE} $로 구분

 

2) 입력/출력 표현

- 다양한 하위 태스크에 적용될 수 있도록 하기 위해 하나의 토큰 시퀀스에서 단일 문장, 한 쌍의 문장을 모두 나타낼 수 있도록 함

- '문장'이라는 표현은 일반적인 문장(영어의 경우 주어+동사+...)이 아니라 연속적인 text span

- '시퀀스'라는 표현은 BERT의 입력 단위를 의미하며 단일 문장일수도 있고 두 개의 문장일수도 있음

- 모든 시퀀스는 [CLS] 토큰으로 시작하며 이 토큰에 대응하는 마지막 hidden state는 분류 태스크를 위한 결합된 시퀀스 표현으로 사용됨

- 쌍으로 이루어진 문장은 하나의 시퀀스로 합쳐지고 두 가지 단계로 문장 구분

 

① 스페셜 토큰 [SEP]로 두 문장 구분

② 모든 토큰에 학습된 임베딩을 추가하여 토큰이 문장 A에 속하는지 B에 속하는지 표시

 

1. Pre-training BERT

 

* BERT는 기존의 단방향(LTR, RTL) 언어모델과 달리 2가지 비지도학습 태스크로 사전학습이 진행되었음

 

1) Task #1: Masked LM

- deep bidirectional model이 LTR, RTL보다 더 강력하다는 것을 직관적으로 알 수 있지만, 전통적인 언어모델은 오직 한 방향으로만 학습되고 있음

- deep bidirectional model을 학습시키기 위해 입력 토큰을 랜덤한 비율(논문에서는 15%)로 마스킹 → Masked LM(MLM) 과정

- mask token에 대응하는 최종 hidden vectors는 vocabulary를 통해 출력 softmax 층으로 들어감

- input 전체를 재구성하지 않고 마스킹된 단어만을 예측

- [MASK] 토큰이 파인튜닝 시 나타나지 않기 때문에 사전학습과 파인튜닝 사이 불일치가 발생하는 단점 존재

- 위에서 언급된 단점을 해결하기 위해 단어 마스킹 시 항상 [MASK] 토큰을 사용하는 것이 아니라  랜덤 토큰 10%를 사용하거나 선택된 i번째 토큰을 그대로 사용하는 방식 적용

 

2) Task #2: Next Sentence Prediction (NSP)

- Question Answering(QA), Natural Language Inference(NLI)는 두 문장 간의 관계 이해가 중요함

- 문장 사이 관계를 이해할 수 있도록 모델을 학습시키기 위해 단일 언어 corpus에서 생성될 수 있는 이진화된 NSP 태스크 사용

- 사전학습 시 문장 A, B를 고를 때 B의 50%는 실제로 문장 A의 뒤에 나오는 문장, 50%는 corpus에서 선택된 랜덤 문장

 

2. Fine-tuning BERT

 

* 트랜스포머의 attention 메커니즘이 BERT 입출력의 적절한 교환으로 많은 하위 태스크 작업을 모델링할 수 있게 하기 때문에 fine-tuning은 간단한 개념(...인데 이 문장이 나한테는 안 간단함) 

 

- 각 태스크마다 task-specific한 입력/출력을 BERT 모델에 넣고 end-to-end로 모든 파라미터를 fine-tune

- 출력 단계에서 토큰 표현은 token-level 태스크(sequence tagging, QA)를 위한 출력 레이어로 들어감

- [CLS]는 분류(entailment, sentiment analysis)를 위한 출력 레이어로 들어감

- 사전학습과 비교할 때 fine-tuning 비용이 낮은 편

 

Experiments & Ablation Studies

생략