Improving Language Understanding by Generative Pre-Training

💬 논문 내용과 이 글에 대한 의견 공유, 오탈자 지적 환영합니다. 편하게 댓글 남겨주세요 !

💬 ◾ 기호는 원문 내용이며, ◽ 기호는 글 작성자의 개인적인 생각입니다.

---

원문: https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf

 

Abstract

◾ 자연어 생성(NLG) 분야에서 레이블이 없는 텍스트 데이터는 충분하지만 특정 태스크(textual entailment, QA, semantic similarity assessment 등)를 위해 레이블 된 데이터는 부족함

◾ 레이블 된 데이터가 부족한 상황은 학습된 모델이 제대로 성능을 발휘하지 못하게 함

◾ 레이블이 없는 다양한 텍스트 코퍼스에 대해 언어 모델의 generative pre-training과 태스크별 discriminative fine-tuning을 적용하면 자연어 이해 태스크에서 큰 장점을 얻을 수 있다는 것을 보임

◾ 이전의 접근 방식과 다르게 fine-tuning 과정에서 task-aware input transformations을 사용해 모델 아키텍처를 최소한으로 변경하면서 효과적인 transfer 달성

 

◽ '효과적인 transfer'는 전이학습을 의미하는 듯함

 

Introduction

◾ 언어 이해 태스크를 위한 준지도(비지도학습과 지도학습 함께 사용) 학습 방법 탐색 → 사전학습(비지도)+파인튜닝(지도)

◾ 약간의 조정만으로 다양한 태스크에 적용할 수 있는 보편적인 표현을 학습하는 것이 연구 목표

◾ Transformer 모델 구조 사용 → Transformer 모델은 텍스트의 장기 의존성 문제를 처리할 때 구조화된 메모리 성능을 제공하기 때문에 다양한 태스크에 걸쳐 좋은 전이 성능 보임

 

◽ Structured memory: 메모리 사용 측면에서의 장점! 으로 이해함

 

Related Work

※ 키워드만 정리

 

◾ NLP를 위한 준지도학습

◾ 비지도 사전학습

◾ 보조(auxiliary) 학습 목표 설정 → [예시] semantic role labeling 태스크의 성능 향상을 위해 POS tagging, chunking, named entity recognition 등의 서브 태스크를 사용한 연구가 있음

 

Framework

1. Unsupervised pre-training

◾ 사전 학습 단계에서 대규모 텍스트 코퍼스를 이용해 언어 모델 학습

◾ 기본적인 언어 모델 목적함수 사용 → i-1번째 토큰(또는 단어)까지의 내용을 참고해서 i번째에 올 토큰의 likelihood를 최대화하도록 학습하는 것이 목적

◾ 조건부 확률 P(~)는 아래 과정을 반복적으로 수행하여 얻어짐($h_{0}$은 초기 상태이기 때문에 한번만 수행)

 

◽ Context window size: 문맥 파악을 위해 주변에 있는 몇 개의 단어를 볼 것인가?

 

2. Supervised fine-tuning

◾ Unsupervised pre-training 단계에서 모델을 학습시킨 후 파라미터를 지도학습 태스크에 맞게 조정

◾ 이 단계에서의 목적함수는 주어진 m개의 토큰을 보고 레이블 y의 확률을 최대화하는 것

 

◾ 지도학습 파인튜닝이지만 언어 모델링을 보조 태스크로 함께 사용했을 때, 1) 지도학습 모델의 일반화 성능 향상과 2) 학습 속도 증가의 장점이 있다는 것을 발견함

◾ 최종 목적함수는 아래와 같음

 

3. Task-specific input transformations

◾ 사전학습 모델이 연속적인 텍스트 시퀀스로 학습되었기 때문에 QA나 textual entailment와 같은 태스크를 위해서는 약간의 변형 필요

◾ 이전 연구들은 태스크별로 모델 구조를 제안 → 이 방법은 많은 양의 task-specific한 구조 만들어내며, 태스크별 구조에 대한 전이 학습이 적용되지 않음

◾ 이 논문에서는 태스크별 모델 구조가 아니라 순서가 있는 시퀀스를 사전학습된 모델이 처리할 수 있는 형태로 변환하는 traversal-style 접근 방법 사용

◾ 모든 변환된 입력은 랜덤하게 초기화 된 시작 토큰 <s>, 종료 토큰 <e>를 포함하고 있음

 

Experiments

1. Setup

Unsupervised pre-training

◾ 다양한 장르&길고 연속적인 문장으로 이루어진 BooksCorpus 데이터셋과 1B Word Benchmark(alternative dataset)로 모델을 학습시켰음

 

Model specifications

◾ 모델 구조는 대부분 original transformer를 기반으로 함 → transformer의 디코더(마스킹 셀프 어텐션 헤드 포함) 12개로 이루어짐

◾ BPE 단어 사전을 썼고 Original transformer에서 사용한 sinusoidal position embedding 대신 학습된 position embedding 사용

 

Fine-tuning details

◾ 비지도 사전학습 과정의 하이퍼파라미터 그대로 사용

 

2. Supervised fine-tuning

※ 결과 정리 표는 생략

Natural Language Inference

◾ Textual entailment라고도 부르는 자연어 추론(NLI)은 쌍으로 이루어진 문장들을 읽고 두 문장의 관계-entailment, contradiction, neutral-를 파악하는 문제

◾ Lexical entailment, coreference, lexical&synthetic ambiguity 등 다양한 문제가 존재하기 때문에 태스크 수행 시 어려움 존재

◾ 이전 SOTA 모델들보다 GPT가 더 좋은 성능을 보임 → 여러 문장을 이해하고 언어적 모호함을 처리하는 능력이 좋다는 것을 의미함

 

Question answering and commonsense reasoning

◾ 길이가 긴 문맥도 효과적으로 처리할 수 있음을 보임

 

Semantic Similarity (paraphrase detection)

◾ Semantic similarity는 두 문장의 의미가 같은지 다른지 예측하는 태스크에 해당

◾ 부정 이해, 구문의 모호함 이해가 태스크를 어렵게 만듦

◾ 세 종류의 semantic similarity 태스크에서 SOTA 달성

 

Classification

◾ 두 개의 텍스트 분류 문제에 대해 모델 성능 평가

 

Analysis

Impact of number of layers transferred

 

Zero-shot Behaviors

◾ 저자들은 Transformer의 언어 모델 사전학습이 효과적인 이유에 대해 의문을 가짐

◾ 위의 의문에 대한 두 가지 가설을 세움 → 1) 기본적인 생성 모델이 모델의 언어 모델링 능력을 향상시키기 위해 평가에 사용한 여러 태스크를 수행할 수 있도록 학습을 진행할 것 & 2) Transformer의 structured attentional memory가 LSTM과 비교했을 때 전이학습을 잘 되게 함

◾ 기본적인 생성 모델을 이용해 여러 태스크들을 지도학습 파인튜닝 없이 수행하는 휴리스틱한 방법 고안

 

Ablation studies

 

Conclusion

◾ Generative pre-training과 discriminative fine-tuning을 통해 단일 task-agnostic 모델로 자연어 생성 분야에서 좋은 성능을 보이는 프레임워크 제안

◾ 제안한 모델을 길고 연속적인 텍스트를 가진 다양한 말뭉치로 사전학습 시켰을 때, 모델은 장기 종속성을 처리할 수 있는 능력과 지식을 가졌고 연구에 사용한 12개의 데이터셋 중 9개의 데이터셋에서 SOTA 달성

◾ 차별화된 태스크에 대한 성능 향상을 위해 비지도 (사전)학습을 사용하는 것은 머신러닝 연구계에서 중요한 목표가 되어 왔음

◾ 이 논문은 비지도학습으로 좋은 성능을 얻는 것이 가능함을 보였고 제안한 접근 방식에서 어떤 모델을 쓰고, 어떤 데이터셋을 쓸 때 가장 성능이 좋은지에 대한 힌트도 제공함

 

🌠 참고 자료

https://youtu.be/o_Wl29aW5XM