[NLP 기초] Vocab

'Vocab 생성' 과정은 자연어처리 태스크를 수행할 때 빠지지 않고 등장하지만, 습관적으로 쓸 뿐 생성 목적이 뭔지 이해하지 못했었다.  트랜스포머 모델을 다뤄보면서 뭔가 알 것 같기도 한 느낌이 들어서 자연어처리 태스크에 있어서 Vocab의 역할에 대해 내가 이해한 바를 정리해보려고 한다.

 

⭐ 잘못된 내용이 있다면 편하게 댓글 남겨주세요!

 

 

생성 단계

※ Vocab 생성 단계 이후의 '데이터 생성'은 모델 입력 데이터 생성을 의미

 

토큰화-Vocab 생성 과정

토큰화

⭐ 토큰화에 대한 내용은 오른쪽 링크를 누르면 확인할 수 있다. 여기!

 

토큰화를 하는 이유는 모델이 일반적인 표현을 배울 수 있게 하기 위한 게 아닐까? 하는 것이 내 생각이다. 문장을 입력으로 받아서 토큰화 과정 없이 문장 전체를 학습에 사용하는 모델이 있다면 비슷한 의미를 가지고 있는 문장이라도 완전히 새로운 데이터로 인식하고 학습해야 할 것이다. 작은 단위로 문장을 나눠서 토큰 하나하나를 학습하는 느낌이라고 이해했다.

 

Vocab 생성   

문자에 대해 정수형 값을 부여하는 과정이다. 값을 부여하는 방식이 정해진 건 없는 것 같다. 토큰 빈도수로 값을  정하는('하늘'이라는 단어가 5번 나왔다면 vocab 내에서 '하늘': 5 이런 방식) 경우를 많이 봤다.

 

역할

날 가장 헷갈리게 했던 것 😵 대학원생이나 돼서 창피스럽지만 꽤 최근까지도 'Vocab을 그래서 왜 쓰는거야?'라는 생각을 많이 했다. 특정 모델 가지고 자연어처리 관련 실습을 하면 단계를 이해하면서 진행하는 게 아니라 기계적으로 "전처리했으니까 토큰화해야지", "토큰화했으니까 Vocab 만들어야지" 이랬어서 이해를 못 했던 것 같다. 물론 지금 정리해둔 이 글에도 틀린 내용이 있을 수 있다!

 

자연어처리 과정에서 입력 데이터는 문자 형태다. 문자로 된 데이터를 모델에 넘겨주고, 모델로부터 원하는 결과를 출력하기 위해서는 모델 내부 연산을 거쳐야 하는데 문자열 형태로 연산을 할 수는 없다. 모델이 문자 데이터를 잘 처리할 수 있도록 벡터 형태로 바꿔주기 위해 Vocab을 사용하는 것이다.  모델이 토큰화한 값들을 안 까먹으려고 적어놓은 메모장 느낌? 이미 Vocab에 있는 토큰이 들어오면 어 이거 Vocab에 적어놨는데 이런 흐름이라고 생각한다.

 

※ '벡터 표현'이라는 말은 문장을 이루고 있는 각 토큰들이 수치 형태로 바뀌었다는 의미를 전달하고자 사용