[번역] Attention: Sequence 2 Sequence model with Attention Mechanism

여러 사이트에 흩어져 있는 글을 모으면 어려운 개념들을 완벽히 이해할 수 있다고 믿으면서 시작한 자체 콘텐츠 'Medium 번역' 

 

 

💬 최대한 매끄럽게 해석하고자 노력했지만 어색한 문장이 있을 수 있습니다. 피드백은 언제나 환영입니다 🙂

---

원본 글 주소 : https://towardsdatascience.com/sequence-2-sequence-model-with-attention-mechanism-9e9ca2a613a

Sequence 2 Sequence model with Attention Mechanism

 

이 글을 통해 당신이 배우게 될 내용

 

• seq2seq 모델에 어텐션 메커니즘이 필요한 이유
• Bahdanau 어텐션 메커니즘의 작동 방식
• Luong 어텐션 메커니즘의 작동 방식
• Bahdanau 어텐션과 Luong 어텐션의 핵심 차이점

 

attention이란 무엇이며, seq2seq 모델에 어텐션 메커니즘이 필요한 이유

 

두 가지 시나리오를 가정하는데, 한 가지는 현재 뉴스거리와 관련된 기사를 읽는 경우이다. 다른 하나는 시험을 준비하는 시나리오이다. 두 상황에 있어서 집중의 정도는 같을까 아니면 다를까?

당신은 아마 뉴스 기사를 읽을 때보다 시험을 준비할 때 더 주의 깊게 읽을 것이다. 시험 공부를 하는 동안 단순하거나 복잡한 내용을 기억하는 데에 도움이 되는 키워드에 더 집중해 학습할 것이다. 이러한 방식은 특정 관심 분야에 집중하고자 하는 딥러닝 과제에도 적용된다.

 

Sequence-to-Sequence(seq2seq) 모델은 인코더-디코더 구조를 사용한다.

 

Seq2Seq 모델은 소스 문장을 타겟 문장에 매핑한다. 기계 번역의 경우 소스 문장은 영어, 타겟 문장은 힌두어가 될 수 있다. (영어를 힌두어로 번역한다는 의미)

 

영어로 된 소스 문장을 인코더에 전달한다. 인코더는 소스 문장의 전체 정보를 context vector라고 하는 하나의 실수값 벡터로 인코딩한다. 그리고 context vector는 디코더로 전달되어 타겟 언어로 된 출력 문장을 생성한다. Context vector는 입력 문장 전체를 하나의 벡터로 요약해야 한다.

 

입력 문장이 길면 디코더에 제공할 모든 정보들을 인코더의 단일 벡터에 포함시킬 수 있을까?

 

단어를 예측할 때 문장 전체에 대한 정보를 모두 담고 있는 단일 벡터 대신 문장 내 몇 개의 관련 단어에 초점을 맞추는 것이 가능할까?

 

어텐션 메커니즘이 이 문제들(위의 두 가지 사항)을 해결할 수 있게 해준다.

 

디코딩 단계마다 디코더는 attention weights 집합을 사용해 입력된 각 단어에 얼마나 "attention"해야하는지 알려준다. attention weights는 번역을 위해 디코더에 문맥상 정보를 제공한다.

 

Bahdanau 어텐션 메커니즘

 

Bahdanau와 연구진은 align과 translate를 동시에 학습하는 어텐션 메커니즘을 제안했다. 인코더 state와 디코더 state의 선형 조합을 수행하기 때문에 Additive attention이라고 알려져있기도 하다.

 

Bahdanau가 제안한 어텐션 메커니즘을 이해해보자.

 

• seq2seq에서 인코더의 마지막 hidden state는 어텐션을 사용하지 않는 것과 달리, Bahdanau 어텐션 메커니즘은 context vector를 생성하기 위해 인코더(forward&backward)와 디코더의 모든 hidden states를 사용한다.
• 어텐션 메커니즘은 feed-forward 네트워크에 의해 파라미터화된 alignment score에 따라 입력 시퀀스와 출력 시퀀스를 정렬한다. 점수에 따라 정렬하는 방식은 소스 문장에서 가장 관련성 있는 정보에 집중하는 데에 도움이 된다.
• 모델은 소스 위치와 관련된 context vector와 이전에 생성된 타겟 단어에 기반해 타겟 단어를 예측한다.

 

 

어텐션 메커니즘이 적용된 Seq2Seq 모델은 인코더, 디코더, 어텐션 레이어로 구성된다.

 

어텐션 레이어의 구성 요소는

 

• Alignment layer
• Attention weights
• Context vector

 

Alignment score

 

Alignment score는 위치 $j$ 주변의 입력과 위치 $i$ 주변의 입력이 얼마나 잘 맞는지를 나타낸다. Score는 타겟 단어를 예측하기 직전 디코더의 hidden state $s_{i-1}$과 입력 문장의 hidden state $h_{j}$에 기반한다.

 

$$e_{ij}=a(s_{i-1}, h_{j})$$

 

디코더는 소스 문장의 모든 정보를 고정 길이 벡터에 담는 것이 아니라 소스 문장의 어떤 부분에 집중해야하는지 결정한다.

 

Alignment 벡터는 소스 문장과 길이가 같고 디코더의 매 time step마다 계산되는 벡터다.

 

 

Attention weights

 

Attention weights를 얻기 위해 alignment score에 softmax 활성화 함수를 적용한다.

 

→ $a_{ij}$의 의미 : 디코더의 i번째 time step에서 j번째 인코더 출력의 가중치(핸즈온 머신러닝 발췌)

 

Softmax 활성화 함수를 거치면 총합이 1이 되는 확률을 얻으며 이것은 각 입력 문장에 대한 가중치를 나타내는 데 도움이 된다. 입력 문장의 attention weights가 높을수록 타겟 단어 예측에 미치는 영향이 크다.

 

 

Context vector

 

Context vector는 디코더의 최종 출력을 결정할 때 사용된다. Context vector $c_{i}$는 attention weights와 인코더 hidden states ($h_{1}$, $h_{2}$, ..., $h_{tx}$)의 weighted sum(가중 합)이다.

 

 

타겟 단어 예측

 

타겟 단어를 예측하기 위해, 디코더가 사용하는 값은

 

• Context vector $c_{i}$
• 이전 time step $y_{i-1}$에서 나온 디코더의 출력
• 디코더의 이전 hidden state $s_{i-1}$

time step i에서 디코더의 hidden state

 

Luong 어텐션 메커니즘

 

Luong 어텐션을 Multiplicative attention이라고도 한다. 간단한 행렬 곱을 이용해 인코더 state와 디코더 state로 attention score를 계산한다. 단순 행렬 곱은 빠르고 공간효율적이다.

 

Luong은 소스 문장에서의 attention 위치에 따라 두 가지의 어텐션 메커니즘을 제시한다.

 

1. 소스 문장의 모든 위치를 attention하는 Global attention

2. 소스 문장의 타겟 단어에서 일부 위치에만 attention하는 Local attention

 

 

Global attention과 Local attention의 공통점

 

• 디코딩 단계에서 time step t마다 stacking LSTM 최상위층의 hidden state $h_{\theta}$를 입력으로 사용
• 두 접근법의 목표는 소스와 관련이 있는 정보를 포착하여 현재 타겟 단어인 $y_{t}$를 예측하는 데에 도움이 되는 context vector $c_{t}$를 도출하는 것이다.
• Attention vector는 이전의 alignment decision을 알리기 위해 다음 time step에서 모델의 입력으로 들어간다.

 

 

Global attention과 Local attention은 context vector $c_{t}$를 구하는 방식이 다르다.

 

Global attention과 Local attention을 보기 전에, Luong 어텐션 메커니즘에서 주어진 시간 t에 대해 사용되는 방식을 알아보자. (표기법과 표기가 나타내는 의미에 대해)

 

 

Global Attention

 

• Global attention 모델은 context vector $c_{t}$를 계산할 때 인코더의 모든 hidden state를 고려
• Global context vector $c_{t}$는 모든 소스 hidden state $h_{s}$의 alignment vector $a_{t}$에 따라 weighted average로 계산된다.

 

소스 문장이 긴 문단이거나 큰 문서라면 어떻게 될까?

 

Global attention 모델은 타겟 단어를 예측하기 위해 소스 문장의 모든 단어를 고려하기 때문에 계산 비용이 많이 들고 긴 문장의 번역이 어려울 수 있다.

 

Local attention을 사용하면 Global attention 모델의 단점을 해결할 수 있다.

 

Local Attention

 

• Local attention은 타겟 단어마다 소스 위치의 일부에만 초점을 맞추기 때문에 global attention보다 계산 비용이 낮다.
• Local attention 모델은 시간 t에서 각 타겟 단어에 대해 정렬된 위치 $P_{t}$를 구한다.
• 정렬된 위치는 단순하게(Monotonic alignment) 또는 예측적으로(Predictive alignment) 선택될 수 있다.

 

Bahdanau 메커니즘과 Luong 메커니즘에서의 attention 계산

 

Bahdanau와 연구진들은 양방향 인코더에 있는 순방향 및 역방향 hidden state와 non-stacking 단방향 디코더의 이전 타겟 단어 hidden state를 합치는(concatenation) 방법을 썼다.

 

Luong과 연구진들은 인코더와 디코더 모두 최상위 LSTM 레이어의 hidden state를 사용했다.

 

Luong 어텐션 메커니즘은 alignment vector를 계산하기 위해 디코더의 현재 hidden state를 사용하는 반면, Bahdanau 메커니즘은 이전 time step의 출력을 사용한다.

 

참고 자료 | References

- Dzmitry Bahdanau et al., Neural Machine Translation by Jointly Learning to Align and Translate(2014)

- Minh-Thang Luong et al., Effective Approaches to Attention-based Neural Machine Translation(2015)

- 핸즈온 머신러닝