[NLP 기초] 동시 출현 행렬(Co-occurrence Matrix)

개념

현재 단어(중심 단어)와 특정 거리 범위 안에 있는 단어의 출현 빈도를 행렬로 만든 것이다. 구글링 또는 책을 보다 보면 거리에 대한 설명이 빠져 있고 '출현 빈도'에만 초점을 맞춰 설명하는 경우가 있는데 개인적으로 출현 빈도보다 거리 개념이 더 중요하다고 생각한다.

 

출현 빈도만으로 이해하려고 하면 행렬 형태를 봤을 때 '이 단어 출현 횟수가 왜 이거야?' 싶은 경우가 생긴다. 내가 그랬음 🙂..

 

예시

◽ 문장

 

자연어처리 분야에서 다루게 될 데이터가 한 문장으로 이뤄진 경우는 없겠지만 예시이므로 간단하게 보기로 한다.

 

a hundred bad days made a hundred good stories.

 

AJR - 100 Days

 

이 문장을 이용해 만든 동시 출현 행렬은 아래와 같은 모습일거고 단어의 출현 횟수가 빈칸을 채우게 될 것이다.

❔ 특정 거리 범위

거리를 Window라고 부르고 자기 자신을 만났을 때는 횟수 카운트에 포함하지 않는다. 이제 두 가지 경우를 생각해보자.

 

1) 현재 단어: made / Window 크기: 1

거리가 1이기 때문에 현재 단어 made의 직전, 직후 단어만 출현 횟수가 카운트된다. 이 경우 days, good만 값이 1이고 나머지는 0이다.

 

2) 현재 단어: made / window 크기: 2

made 기준 거리가 2인 단어들은 bad, days, good, stories이고 이 단어들만 출현 횟수가 1, 나머지는 0이다.

 

구현

단순 구현인데 코드를 깔끔하게 짜는 것보다 직접 구현하고 결과를 보는 데에 집중했기 때문에 코드 퀄리티는 굉장히 낮다.

 

sentence = 'a hundred bad days made a hundred good stories.'.replace('.', ' .').split()

sorted_sentence = []

# ['a', 'hundred', 'bad', 'days', 'made', 'good', 'stories', '.']
for s in sentence:
    if s not in sorted_sentence:
        sorted_sentence.append(s)

WINDOW_SIZE = 1

cooccurrence_mat = []

near_word = []

for i in range(len(sorted_sentence)):
    if i==0:
        check = [sorted_sentence[i+WINDOW_SIZE]]
    elif i==len(sorted_sentence)-1:
        check = [sorted_sentence[i-WINDOW_SIZE]]
    else:
        check = [sorted_sentence[i-WINDOW_SIZE], sorted_sentence[i+WINDOW_SIZE]]
    
    near_word.append(check)
    
# 'hundred': ['a', 'bad'] 
window_size_dict = {k: v for k, v in zip(sorted_sentence, near_word)}

for value in window_size_dict.values():
    count_dict = {k: 0 for k in sorted_sentence}
    
    for v in value:
        count_dict[v] += 1
    
    print(count_dict)
    cooccurrence_mat.append(list(count_dict.values()))

 

 

최종 동시 출현 행렬이 저장될 곳은 cooccurrence_mat이고 어떻게 저장됐는지 확인해보면 아래와 같다.

 

 

※ 전체 코드 및 실행 결과 : https://github.com/nsbg/NLP/tree/main/basic