Sequence to Sequence Learning with Neural Networks

Transformer를 제대로 이해하기 위해 봐야 할 논문과 개념들이 굉장히 많다. 차근차근 보고 Transformer도 다시 볼 계획이다.

 

💬 논문 내용과 이 글에 대한 의견 공유, 오탈자 지적 환영합니다. 편하게 댓글 남겨주세요 !

---

원문 : https://arxiv.org/pdf/1409.3215.pdf

 

Abstract

- DNN은 speech recognition과 같은 어려운 학습 태스크에서 우수한 성과를 달성한 모델이지만 고정 차원을 사용하기 때문에 입출력 길이가 다른 시퀀스(문장)를 다루는 문제에는 적합하지 않았다. 

- 이 논문에서는 다층 LSTM을 인코더-디코더로 사용하여 입력 시퀀스 의미에 대응하는 가변 길이 시퀀스를 출력하는 방법을 제안한다.

- 입력 시퀀스 단어 순서를 반대로 할 경우(사랑해/너를/나는 이런 식) LSTM 성능이 크게 향상되는 것을 발견했다.

 

Introduction

- 하나의 LSTM으로 입력 시퀀스를 한 번에 하나씩 읽은 후에 context vector(고정 차원 벡터)를 얻고 또 다른 LSTM(디코더)을 이용해 출력 시퀀스 추출

- 두 번째 LSTM은 입력 시퀀스에 따라 조정되는 것이지만 기본적으로는 recurrent neural network language model이다. 

 

 

cf. EOS(End Of Sentence/Sequence)

문장의 끝을 알리기 위해 사용하는 특수한 토큰으로 모델은 <EOS> 토큰을 받으면 예측 생성을 멈춘다.

 

The model

1) RNN & LSTM

 

- 순환신경망(RNN)은 시퀀스에 대한 feedforward 신경망을 일반화한 것이다. 입력 시퀀스 ($x_{1}$, ..., $x_{T}$)가 주어지면 RNN은 아래 식을 반복하며 출력 시퀀스 ($y_{1}$, ..., $y_{T}$)를 계산한다.

 

$$h_{t} = sigm(W^{hx}x_{t}+W^{hh}h_{t-1})$$

$$y_{t} = W^{yh}h_{t}$$

 

-  일반적으로 가장 간단한 시퀀스 학습 방법은 하나의 RNN을 사용하여 입력 시퀀스를 고정 크기 벡터에 매핑한 다음 다른 RNN으로 타겟 시퀀스에 매핑하는 것이다.

- RNN을 학습시킬 때 long term dependencies 문제로 인해 어려운 점이 있었기 때문에 장기 의존 문제를 해결할 수 있는 LSTM은 성공적이었다.

- LSTM의 목표는 입력 시퀀스 ($x_{1}$, ..., $x_{T}$)와 입력 시퀀스에 대응하는 출력 시퀀스 ($y_{1}$, ..., $y_{T'}$)의 조건부 확률 p($y_{1}$, ..., $y_{T'}$|$x_{1}$, ..., $x_{T}$)를 계산하는 것이다. (T'≠T)

- LSTM은 마지막 hidden state에 의해 주어진 입력 시퀀스 ($x_{1}$, ..., $x_{T}$)의 고정 차원 표현인 $v$를 얻은 후 초기 hidden state가 $v$인 LSTM-LM 공식을 계산해 ($y_{1}$, ..., $y_{T'}$)의 조건부 확률을 구한다.

 

 

2) 실제 구현한 모델

→ 위에서 설명한 방식과 세 가지 차이가 있음

 

① 인코더 쪽 LSTM과 디코더 쪽 LSTM가 서로 다른 파라미터를 가진다.

② 얕은 LSTM보다 깊은 LSTM의 성능이 더 좋기 때문에 4개의 레이어를 가진 LSTM을 사용했다.

③ 입력 문장의 순서를 뒤집었다.

 

Experiments

1. Dataset details : 생략

 

2. Decoding and Rescoring

 

- 실험의 핵심은 많은 문장 쌍에 대해 깊은 LSTM을 학습시키는 것이다.

- 소스 문장 $S$가 주어졌을 때, $S$에 대응하는 정확한 번역 결과인 $T$에 대한 log probability가 커지는 쪽으로 학습 진행

 

 

- 학습이 끝나면 beam search 디코더를 사용해 가장 가능성이 높은 번역 결과를 찾는다.

 

 

3. Reversing the Source Sentences

 

- LSTM은 장기 의존성 문제 해결에 적합하지만 논문 저자들은 소스 문장의 순서를 바꾸면 학습이 더 잘된다는 것을 발견했다.

 

실험 설정 값과 결과 분석에 대한 파트는 생략 🙂