[개념] 희소 표현 / 밀집 표현

희소 표현 | sparse representation

- 문장을 벡터로 나타낼 때 대부분의 값이 0인 희소행렬 개념 이용 → 표현하고자 하는 단어의 인덱스는 1, 나머지 인덱스는 0으로 설정

- 단어의 수가 늘어나면 차원도 함께 커지는 문제점이 있다.

 

예)

왼쪽은 표현하고 싶은 단어가 3개이기 때문에 3차원이지만, 오른쪽은 100개가 넘기 때문에 100차원을 넘게 되어 긴 문장을 벡터로 나타내야 할 때는 희소 표현이 비효율적이다.

 

⭐ 원소 개수가 차원인가? 에 대한 의문은 이 곳을 참고하면 도움이 될 듯 하다. (사실 내가 차원 개념을 완전히 정립하지 못함)

 

 

희소행렬

 

밀집 표현 | dense representation

- 단어의 개수와 상관없이 사용자가 차원 값을 설정하기 때문에 차원 축소의 장점이 있다. 

- 특정 단어를 표현하기 위해 여러 특성을 고려하여 각 요소에 대한 정보가 실수로 표현된다.

 

** ■ : 여러 자료를 참고한 후 개인적으로 해석한 내용입니다. 잘못된 내용이라면 댓글로 알려주세요! ** 

 

https://www.pinecone.io/learn/dense-vector-embeddings-nlp/

 

참고 사이트

https://ko.wikipedia.org

https://wikidocs.net/33520

https://bkshin.tistory.com/entry/NLP-11-Word2Vec

https://programmers.co.kr/learn/courses/21/lessons/1697

https://www.pinecone.io/learn/dense-vector-embeddings-nlp/