[NLP 기초] 토큰화(Tokenization, 토크나이징)

개념

텍스트에 대해 특정 기준 단위로 문장을 나누는 과정으로 토큰화, 토크나이징 등 불리는 이름이 다양하다. 토큰은 문장이 될수도 있고 단어가 될수도 있으며 보통은 유의미한 단위가 토큰으로 정의된다. 

 

예시

◽ 문단

이유 모를 감정의 풍요, 그는 끝내 마침표를 채워 넣었다.
그리고 그는 홀로이 못다 한 이야기들을 비운다. 하지만 그의 이야기의 주인공은 여전히 그녀이다.
나는 이걸 낭만이라고 부르기로 하였다.

 

빅나티-낭만이라고 부르기로 하였다(Narr. 김기현)

 

◽ 문장 단위 토큰화

 

문장 단위로 토큰화를 진행한다면 온점(.)을 기준으로 진행되기 때문에 총 4개의 문장으로 나뉘게 된다.

 

◽ 단어 단위 토큰화

 

Python split()처럼 문장부호를 포함하지 않고 공백을 기준으로 토큰화하거나, 문장부호도 하나의 토큰으로 보고 토큰화를 진행할 수 있다. nltk 라이브러리의 word_tokenize()는 문장부호도 하나의 토큰으로 파악한다.

 

◽ 형태소 단위 토큰화(한국어)

문장부호를 제외하고 첫 번째 문장에 대해 형태소 단위로 토큰화를 진행하면 아래와 같은 결과가 나온다.

이유 / 모를 / 감정 / 의 / 풍요 / 그 / 는 / 끝내 / 마침표 / 를 / 채워 / 넣었다

 

구현

nltk 라이브러리(https://www.nltk.org/install.html)를 사용하면 손쉽게 문장/단어 단위 토큰화를 진행할 수 있다. 한국어 토큰화에 사용할 수 있는 라이브러리는 Okt(Open Korea text),  Mecab, KKma, Hannanum, Komoran이 있다.

 

◽ 문장 단위 토큰화

from konlpy.tag import Okt
from nltk.tokenize import sent_tokenize, word_tokenize

sentences = sent_tokenize(paragraph)

 

◽ 단어 단위 토큰화

words = word_tokenize(paragraph)

 

◽ 형태소 단위 토큰화(한국어)

print('Okt 형태소 분석 :',okt.morphs("나는 이걸 낭만이라고 부르기로 하였다."))
print('--------------------------------------------------------------------')
print('Okt 품사 태깅 :',okt.pos("나는 이걸 낭만이라고 부르기로 하였다."))
print('--------------------------------------------------------------------')
print('Okt 명사 추출 :',okt.nouns("나는 이걸 낭만이라고 부르기로 하였다."))

 

※ 전체 코드 및 실행 결과 : https://github.com/nsbg/NLP/blob/main/basic/tokenization.ipynb