nsbg 🌞

개념 단어 집합(vocab)에 있는 단어 각각을 실수(real number)로 이루어진 dense vector로 표현하는 것 방법 ※ PyTorch 기준 1) Embedding layer 생성: nn.Embedding 사용 2) Pre-trained word embedding: 사전 학습된 워드 임베딩(Word2Vec, GloVe 등)을 가져와서 사용 예시 1) Embedding layer 생성 ① nn.Embedding layer 없이 직접 구현(셀 순서대로 진행됨) import torch train_data = 'I want to be a AI engineer' # 단어 집합 생성(중복 제거) word_set = set(train_data.split()) # 각 단어에 고유한 정수 부여 vocab =..

사실 엄청난 심화는 아님 허깅페이스에서 사전학습모델을 불러와 사용할 때 encode()를 이용해 토큰화된 데이터를 얻을 수 있는데, 이것저것 예제를 보다보니 encode()가 나올 때가 있고 encode_plus()가 나올 때가 있었다. 한 줄짜리 코드로 차이점을 확인해보기로 한다. tokenizer.encode() # 데이콘 '청와대 청원 분류 대회' 데이터셋에서 추출한 문장 tokenizer.encode('신혼부부위한 주택정책 보다 보육시설 늘려주세요') 결과 ◽ tokenizer.tokenize(SENTENCE), tokenizer.convert_tokens_to_ids(TOKENIZED_SENTENCE)를 한 번에 수행하는 기능 ◽ Vocab에 있는 값을 이용해 토큰 하나하나를 vocab inde..

'Vocab 생성' 과정은 자연어처리 태스크를 수행할 때 빠지지 않고 등장하지만, 습관적으로 쓸 뿐 생성 목적이 뭔지 이해하지 못했었다. 트랜스포머 모델을 다뤄보면서 뭔가 알 것 같기도 한 느낌이 들어서 자연어처리 태스크에 있어서 Vocab의 역할에 대해 내가 이해한 바를 정리해보려고 한다. ⭐ 잘못된 내용이 있다면 편하게 댓글 남겨주세요! 생성 단계 ※ Vocab 생성 단계 이후의 '데이터 생성'은 모델 입력 데이터 생성을 의미 토큰화-Vocab 생성 과정 토큰화 ⭐ 토큰화에 대한 내용은 오른쪽 링크를 누르면 확인할 수 있다. 여기! 토큰화를 하는 이유는 모델이 일반적인 표현을 배울 수 있게 하기 위한 게 아닐까? 하는 것이 내 생각이다. 문장을 입력으로 받아서 토큰화 과정 없이 문장 전체를 학습에 사..

개념 현재 단어(중심 단어)와 특정 거리 범위 안에 있는 단어의 출현 빈도를 행렬로 만든 것이다. 구글링 또는 책을 보다 보면 거리에 대한 설명이 빠져 있고 '출현 빈도'에만 초점을 맞춰 설명하는 경우가 있는데 개인적으로 출현 빈도보다 거리 개념이 더 중요하다고 생각한다. 출현 빈도만으로 이해하려고 하면 행렬 형태를 봤을 때 '이 단어 출현 횟수가 왜 이거야?' 싶은 경우가 생긴다. 내가 그랬음 🙂.. 예시 ◽ 문장 자연어처리 분야에서 다루게 될 데이터가 한 문장으로 이뤄진 경우는 없겠지만 예시이므로 간단하게 보기로 한다. a hundred bad days made a hundred good stories. AJR - 100 Days 이 문장을 이용해 만든 동시 출현 행렬은 아래와 같은 모습일거고 단어의..

개념 텍스트에 대해 특정 기준 단위로 문장을 나누는 과정으로 토큰화, 토크나이징 등 불리는 이름이 다양하다. 토큰은 문장이 될수도 있고 단어가 될수도 있으며 보통은 유의미한 단위가 토큰으로 정의된다. 예시 ◽ 문단 이유 모를 감정의 풍요, 그는 끝내 마침표를 채워 넣었다. 그리고 그는 홀로이 못다 한 이야기들을 비운다. 하지만 그의 이야기의 주인공은 여전히 그녀이다. 나는 이걸 낭만이라고 부르기로 하였다. 빅나티-낭만이라고 부르기로 하였다(Narr. 김기현) ◽ 문장 단위 토큰화 문장 단위로 토큰화를 진행한다면 온점(.)을 기준으로 진행되기 때문에 총 4개의 문장으로 나뉘게 된다. ◽ 단어 단위 토큰화 Python split()처럼 문장부호를 포함하지 않고 공백을 기준으로 토큰화하거나, 문장부호도 하나의..

개념 문장을 이루고 있는 단어의 등장 횟수를 카운트하고 그 값을 기반으로 문서를 벡터화하는 방법 예시 BoW 모델은 단어 사전을 참고하여 벡터화를 진행한다. 아래처럼 4개의 문장으로 이루어진 문서가 있다고 가정하고 이 문서를 BoW 모델로 표현해보기로 한다. ◽ 문서 : ["It was the best of times", "It was the worst of times", "It was the age of wisdom", "It was the age of foolishness"] ◽ 문서에서 생성한 단어 사전 : ['It', 'was', 'the', 'best', 'of', 'times', 'worst', 'age', 'wisdom', 'foolishness'] ◽ 첫 번째 문장 벡터 표현 결과(나머지 ..

사용 이유 - 입력이 RNN처럼 순서대로 들어오는 것이 아니기 때문에 모델이 문장 내 단어의 위치를 파악할 수 있도록 하기 위해 Positional Encoding 사용 - 생성된 고유한 Positional Encoding을 단어 임베딩 벡터와 더할 경우 모델이 단어의 절대 위치 파악 가능 동작 방식 - N번째 Positional Encoding이 각 문장의 N번째 단어 임베딩에 더해진다. - 논문 저자들은 sin 함수, cos 함수를 사용 → pos: 문장 내 임베딩 벡터의 위치, i: 임베딩 벡터 내 위치 - Positional Encoding은 단어 임베딩 벡터와 더해져야 하기 때문에 $d_{positional encoding}$=$d_{embedding vector}$ 🧐 sin 함수, cos 함..