[번역] Introduction to Stemming and Lemmatization

💬 최대한 매끄럽게 해석하고자 노력했지만 어색한 문장이 있을 수 있습니다. 피드백은 언제나 환영입니다 🙂

---

원본 글 주소 : https://medium.com/geekculture/introduction-to-stemming-and-lemmatization-nlp-3b7617d84e65

 

자연어처리(Natural Language Processing, NLP)

 

텍스트 데이터는 다양한 소스로부터 얻을 수 있다. 우리의 목표는 태스크와 관련없는 소스 고유의 마크업이나 구문이 없는 평문을 추출하는 것이다.

 

구두점, 대문자와 같은 언어의 몇몇 특성과 "a"/"of"/"the"와 같은 일반적인 단어들이 문서의 구조 제공에 도움을 주긴 하지만 많은 의미를 주지는 않는다. 따라서 텍스트 데이터를 분석하여 자연어 처리 파이프라인에 입력하기 전에 해당 데이터를 지우는 것이 좋다.

 

Stemming이란?

 

Stemming은 단어의 어근이나 어간 형식을 줄이는 과정이다. 세 단어 "branched", "branching", "branches" 세 단어를 고려해보자. 모두 "branch"라는 같은 단어로 줄여질 수 있다. 결국 세 개 다 branches로부터 분기된 같은 아이디어를 전달한다. 다시 말해, (단어의 원형으로 줄이는 것은) 이 세 단어가 전달하는 의미의 본질은 유지하면서 복잡도를 줄이는 데에 도움이 된다.

 

한편, Stemming은 검색과 치환이라는 매우 간단한 작업을 적용한 빠르고 crude한 연산이다.

 

다른 예시로 접미사 "ing"와 "ed"는 제거될 수 있으며 "ies"는 "y"로 대체될 수 있다. 이 접근 방식을 따르면 우리는 불완전한 단어를 얻게 되지만 상관없다. 왜냐하면 corpus(말뭉치)에 있는 단어의 모든 형태들은 같은 형태로 줄여지기 때문이다.  

 

words = ['first', 'time', 'see', 'second', 'renaissance', 'may', 
'look', 'boring', 'look', 'least', 'twice', 'definitely', 'watch', 'part', 
'2', 'change', 'view', 'matrix', 'human', 'people', 'ones', 'started', 'war', 'ai', 'bad', 'thing']

 

또한 NLTK나 자연어처리 Toolkit는 PorterStemmer나 SnowballStemmer처럼 우리가 선택할 수 있는 다른 종류의 stemmer를 가지고 있다.  

 

여기서는 간단한 stemming 구현을 위해 PorterStemmer를 import해보자.

 

from nltk.stem.porter import PorterStemmer

 

Stemmer가 동작하려면 corpus로부터 한 단어씩 전달하기만 하면 된다. 이 예시에서 stopwords는 이미 제거되어 있다.

 

⭐ stopwords 제거 코드(번역 중 추가)

nltk.download('stopwords')

# word 리스트는 본문 그대로 사용

filtered = []

for w in words:
    if w not in stopword:
        filtered.append(w)

words = filtered

 

stemmed_words = [PorterStemmer().stem(w) for w in words]
print(stemmed_words)

 

위 코드를 실행하면 다음과 같은 출력을 얻을 수 있다.

 

 

출력을 보면 "started"가 "start"로 축소되고, "people"의 마지막 "e"가 사라지고 "ones"가 "one"으로 줄어드는 꽤 양호한 변환이 있는 것을 알 수 있다. ** people에서 e가 사라지는 건 why 양호한 변환 예시에 들어가 있는 것?

 

Lemmatization 소개

 

Lemmatization은 단어를 정규화 형태로 줄이기 위해 사용되는 또다른 기술이다. Lemmatization에서 transformation은 단어의 변형을 그 단어의 원형으로 매핑하기 위해 사전을 사용한다. 이 방식을 통해 "is", "was", "were"와 같은 작은 변형을 어근 "be"로 되돌릴 수 있다.

 

아래 예제를 위해 WordNetLemmatizer를 import해보자.

 

from nltk.stem.wordnet import WordNetLemmatizer
lemmed_words = [WordNetLemmatizer().lemmatize(w) for w in words]

print(lemmed_words)

 

NLTK의 기본 lemmatizer는 단어를 그들의 원형에 매핑하기 위해 wordnet 데이터베이스를 사용한다. lemmatization 단계의 출력을 보자.

 

 

"ones"만 "one"으로 바뀌고 다른 것들은 바뀌지 않은 것처럼 보인다. 입력을 자세히 살펴보면, "ones"만이 유일한 복수명사인 것을 확인할 수 있다. 이것이 "ones"만 바뀐 이유다!

 

PoS를 이용한 Lemmatization

 

Lemmatizer는 어근 형태로 돌리려고 하는 각 단어에 대한 언어적 부분을 알고 있거나 추측할 필요가 있다. 이 경우 WordNetLemmatizer는 명사가 기본으로 설정되어 있지만 변경이 가능하다. "pos" 파라미터를 지정하면 기본 설정 값을 덮어쓸 수 있다. 동사는 "v"로 하자.

 

lemmed = [WordNetLemmatizer().lemmatize(w, pos='v') for w in words]
print(lemmed)

 

 

이번에는 "boring"과 "started" 두 동사가 바뀌었다.

 

결론

 

앞의 예시에서 봤듯이, stemming은 불완전한 형태의 어간을 결과로 내기도 한다. 하지만 모든 단어들이 똑같은 형태로 줄기 때문에 이 사실은 문제가 되지 않는다.

 

Lemmatization은 최종 형태도 의미있는 단어라는 점을 빼면 stemming과 유사하다. Stemming 방식은 Lemmatization처럼 사전이 필요하지 않다. 따라서 제약 사항에 따라 메모리 부하가 낮은 옵션이 될 수 있다.