[번역] Word2Vec Research Paper Explained

💬 최대한 매끄럽게 해석하고자 노력했지만 어색한 문장이 있을 수 있습니다. 피드백은 언제나 환영입니다 🙂

---

원본 글 주소 : https://towardsdatascience.com/word2vec-research-paper-explained-205cb7eecc30

Word2Vec Research Paper Explained

 

서론

 

많은 NLP 활용 사례에서, 단어는 서로 간의 관계를 포착하지 않는 원-핫 인코딩으로 표현된다. 원-핫 인코딩을 사용하는 이유는 "간단함, 견고함과 대량의 데이터로 훈련된 간단한 모델이 소량의 데이터로 훈련된 복잡한 모델보다 더 좋은 성능을 보인다는 관찰 결과" 때문이다.

 

간단한 모델의 예시는 N-gram 모델이 될 수 있다. 이러한 모델은 i번째 위치의 단어가 i-(n-1)번째 단어에서 (i-1)번째 단어까지의 이력에 의존한다고 가정하는 마르코프 모델이다. 이 접근법은 학습 코퍼스에서 파생된 빈도 기반 접근 방법이다. 하지만 이러한 간단한 모델은 이용할 수 없는 고품질의 데이터를 필요로 할 때가 종종 있으며 학습되지 않은 데이터에 대해 일반화가 어렵다.

 

하지만 기계 학습 영역의 발전으로 대량의 데이터셋에 대해 학습된 복잡한 알고리즘은 단순한 모델보다 성능이 우수하다.

 

Word2Vec 모델은 단어 간의 구문적/의미적 유사성을 모두 포착한다. 학습된 Word2Vec 벡터에 대해 잘 알려진 대수적인 예시 중 하나는 다음과 같다.

 

Vector("왕")-Vector("남자")=Vector("여왕")-Vector("여자")

 

단어의 벡터 표현에 대한 이전의 접근 방법들

 

이 섹션은 신경망을 사용하여 단어를 벡터로 표현하는 이전의 접근 방식에 초점을 맞추고 있다.

 

1. Neural Network Language Model(NNLM) [Bengio, Yoshua et al.]

단어 임베딩을 위한 선형 투영 레이어와 출력층 이후의 비선형 은닉층으로 구성된 두 단계 언어 모델이다. 단어 벡터와 언어 모델 모두 NNLM 안에서 동시에 학습된다.

 

 

NNLM 모델은 입력층, 투영층, 은닉층과 출력층으로 이루어져 있다. 하이퍼파라미터 N은 다음 단어 예측을 위해 현재 단어부터 몇 개까지의 단어를 봐야 하는지 결정한다. 입력층에서 단어는 크기 V의 원-핫 인코딩으로 인코딩된다. 행렬 C는 N×D 차원(D는 임베딩 사이즈)을 갖는 shared projection matix다. 은닉층은 투영층에 densely하게 연결된다. 

 

** Shared projection matrix의 의미는 아직 잘 모르겠다.

*** ■ : 원문 the projection layer which leads to the weights matrix of N×D×H from projection to hidden layer에서 leads to ~ 해석이 깔끔하게 안됨

 

은닉 벡터를 생성한 후 출력층은 H×V 크기의 가중치를 가지며 출력층 이후에는 소프트맥스 층이 있다. 따라서 NNLM 모델의 총 가중치는 N×D+N×D×H+H×V이다. H×V는 어휘가 이진 트리로 표현되는 계층형 소프트맥스를 사용하여 H×log(V)로 줄일 수 있다. 복잡성은 대부분 N×D>V일 때 N×D×H 항에서 비롯된다. 이 항은 Word2Vec 모델 안에서 은닉층을 사용하지 않음으로써 회피된다(복잡성을 줄일 수 있다 이 의미인 듯). NNLM 모델이 학습될 때 투영 행렬은 학습된 단어 벡터를 위한 룩업테이블로 사용된다.

 

2. Recurrent Neural Net Language Model(RNNLM)

이 모델에서는 NNLM 모델의 경우처럼 N을 지정할 필요가 없다. RNN은 은닉 상태의 모든 단어 기록을 인코딩한다. 은닉 상태 S(T)는 현재 입력 X(T)와 S(T-1)에서의 은닉 벡터로 업데이트된다. 

 

Simple Elman Network는 RNNLM 모델에서 RNN 모델로 사용된다. 오직 시간 차원의 recurrent 가중치와 출력층 가중치에 숨겨진 가중치만 이 네트워크에 관여하며 모델 전체의 복잡성은 H×H+H×V이다. NNLM 모델과 비교해보면 모델 복잡도에 N 항이 없다. H×V 항은 계층적 소프트맥스를 사용하여 H×log(V)로 줄일 수 잇다. 이 모델에서 연산의 bottleneck 항은 H×H이다.

 

 

위의 두 모델로부터, "비선형 은닉층"이 전체 복잡성의 가장 큰 이유라는 것이 명백하다. 이는 하드웨어의 제약을 유발해 모든 학습 데이터를 활용하지 못하게 한다. Word2Vec은 단어 벡터의 품질을 손상시키지 않고 더 많은 데이터로 학습할 수 있는 두 가지 간단한 모델을 제시했다.

 

 

Word2Vec 모델

 

이 섹션에서는 Word2Vec 학습에 사용되는 모델을 소개한다.

 

1. Continuous bag of words model(CBOW)

CBOW 모델은 선형 은닉층이 없는 경우를 제외하고 NNLM 모델에서 파생되었다. CBOW 모델의 목적은 과거의 N/2 단어와 미래의 N/2 단어가 주어졌을 때 그 중간의 단어를 예측하는 것이다. 가장 좋은 결과는 N=8일 때 얻어진다. 투영층에서 N개의 context 단어의 단어 벡터는 단순하게 평균화된다. 중간 단어의 단어 벡터를 결정할 때 단어의 위치는 관련이 없기 때문에 "Bag of Words"라는 이름이 붙는다. Continuous라는 표현은 벡터 공간 D를 의미한다.

 

평균 벡터는 V에 대한 분포를 얻기 위해 출력층을 거쳐 계층적 소프트맥스로 전달된다. CBOW는 모델 출력의 logarithm이 모델 가중치의 선형 결합으로 표현될 수 있는 간단한 log-linear 모델이다. CBOW 모델 학습과 관련된 총 가중치는 N×D+D×logV 이다.

 

2. Continuous skip-gram model

이 모델의 목적은 CBOW 모델과 반대다. 현재 단어가 주어졌을 때, 현재 단어 근처의 과거 단어와 미래 단어를 예측한다. 이름에서 알 수 있듯이, 모델은 현재 단어를 제외한 N-gram 단어를 모델에 대한 입력으로 예측하기 때문에 Skip-gram이라는 이름이 붙는다. N 값은 10으로 선택된다. 멀리 있는 단어는 현재 단어와의 연관성이 적기 때문에 출력 레이블을 생성하기 위해 인근 단어보다 적게 샘플링된다. N=10일 때 위에서 언급한 샘플링 방법으로 1~10 사이의 난수 R이 생성되고 R의 과거 단어, 미래 단어가 Skip-gram 모델의 정답 레이블로 사용된다.

 

모델의 전체 복잡도는 N×D+N×D×logV이다. CBOW와 비교했을 때 단일 클래스 분류 문제가 아니라 N-클래스 분류 문제이기 때문에 N은 D×logV 항에 곱해진다. 즉 Skip-gram 모델은 CBOW보다 더 복잡하다.

 

 

Results 파트는 결과 비교 내용이라 생략!