[Transformer 시리즈] 01. Positional Encoding

 

사용 이유

- 입력이 RNN처럼 순서대로 들어오는 것이 아니기 때문에 모델이 문장 내 단어의 위치를 파악할 수 있도록 하기 위해 Positional Encoding 사용

- 생성된 고유한 Positional Encoding을 단어 임베딩 벡터와 더할 경우 모델이 단어의 절대 위치 파악 가능

 

동작 방식

- N번째 Positional Encoding이 각 문장의 N번째 단어 임베딩에 더해진다.

- 논문 저자들은 sin 함수, cos 함수를 사용 → pos: 문장 내 임베딩 벡터의 위치, i: 임베딩 벡터 내 위치

 

 

- Positional Encoding은 단어 임베딩 벡터와 더해져야 하기 때문에 $d_{positional encoding}$=$d_{embedding vector}$

 

 

🧐 sin 함수, cos 함수를 쓰는 이유는?

 

아주 괜찮은 글을 하나 발견해서 따로 정리 후 링크 추가 예정

 

 

🧐 sin 함수, cos 함수를 함께 사용하는 이유는?

 

sin 함수를 평행이동시키면 cos 함수가 나오고 단어 위치 간 상대적인 관계가 내부적으로는 행렬의 회전변환에 의해 상호 변환될 수 있는데, 행렬의 회전변환은 sin 함수와 cos 함수로 이루어져 있다.

 

 

🧐 Word embedding, Positional encoding을 곱하지 않고 더하는 이유는?

 

Positional encoding 벡터에서 0인 부분이 있다면 곱셉을 할 경우 word embedding의 정보가 사라질 수 있다. 덧셈을 하면 word embedding의 정보를 유지하면서 위치 정보까지 추가할 수 있다.

 

코드 구현

class PositionalEncoding(nn.Module):
    def __init__(self, d_model: int, dropout: float = 0.1, max_len: int = 5000):
        super().__init__()
        self.dropout = nn.Dropout(p=dropout)

        position = torch.arange(max_len).unsqueeze(1)
        div_term = torch.exp(torch.arange(0, d_model, 2) * (-math.log(10000.0) / d_model))
        pe = torch.zeros(max_len, 1, d_model)
        pe[:, 0, 0::2] = torch.sin(position * div_term)
        pe[:, 0, 1::2] = torch.cos(position * div_term)
        self.register_buffer('pe', pe)

    def forward(self, x: Tensor) -> Tensor:
        """
        Args:
            x: Tensor, shape [seq_len, batch_size, embedding_dim]
        """
        x = x + self.pe[:x.size(0)]
        return self.dropout(x)

 

⭐ 개인적인 의견으로는 파이토치 튜토리얼보다 https://github.com/hyunwoongko/transformer에 올라와 있는 코드가 더 직관적이고 이해하기 쉬운 것 같다. 파이토치 튜토리얼 코드와 비교해보면서 분석해봐야지 

 

참고 자료

핸즈온 머신러닝

https://yngie-c.github.io/nlp/2020/07/01/nlp_transformer/

https://www.youtube.com/watch?v=1biZfFLPRSY&ab_channel=AICoffeeBreakwithLetitia

http://www.aitimes.kr/news/articleView.html?idxno=17442 

https://tutorials.pytorch.kr/beginner/transformer_tutorial.html