[코드 리뷰] 노년층 대화 감성 분류 모델 구현 (2) : RNN

감성 분류 모델 구현 시리즈 (1) | CNN

 

👩‍🏫 모델 클래스

class RNN(nn.Module):
    def __init__(self, vocab_size, embed_dim, hidden_dim, n_layers, dropout, num_class, device):
        super(RNN, self).__init__()

        self.device = device        
        self.n_layers = n_layers
        self.hidden_dim = hidden_dim

        self.embed = nn.Embedding(vocab_size, embed_dim)
        self.dropout = nn.Dropout(p=dropout)
        self.gru = nn.GRU(embed_dim, self.hidden_dim, self.n_layers, batch_first=True)

        self.linear_layer = nn.Linear(self.hidden_dim, num_class)

    def forward(self, sentence):
        x = self.embed(sentence)

        init_hidden = torch.zeros(self.n_layers, x.size(0), self.hidden_dim).to(self.device)

        output, _ = self.gru(x, init_hidden)

        t_hidden = output[:, -1, :]

        self.dropout(t_hidden)

        logits = self.linear_layer(t_hidden)

        return logits

 

🎯 파라미터

※ 모델 구조와 직접적인 연관이 있는 파라미터만 정리

◽ vocab_size: vocab 크기. vocab에 들어있는 단어의 개수

◽ embed_dim: 임베딩 벡터 차원

◽ hidden_dim: hidden state h의 feature 수

◽ n_layers: recurrent layer의 수

◽ num_class: 타겟이 되는 레이블 수

 

 

⏳ 작동 방식

1. __init__

1) nn.GRU(input_size, hidden_size, num_layers, batch_first=True)

◽파라미터를 받아서 GRU 구조를 셋팅하는 느낌으로 이해했다. batch_first는 default가 False인데 batch_first=False이면 (시퀀스 길이, 배치 크기, 입력 사이즈) 이 형태로 GRU 셀에 입력을 받는다. batch_first=True는 (배치 크기, 시퀀스 길이, 입력 사이즈) 형태로 입력을 받는다.

 

2. forward

1) init_hidden = torch.zeros(~)

◽ 초기 hidden state이기 때문에 값은 모두 0이고 크기만 맞춰 초기화하는 역할이다.

 

 

2) output, _ = self.gru(x, init_hidden)

◽ 입력 x와 hidden_state를 같이 넣어주면 GRU 셀을 거치고 난 후의 output과 hidden state를 출력한다. GRU 텍스트 분류 코드를 좀 찾아 보니까 hidden state는 안 쓰고 output 값만으로 처리를 해도 상관 없는 것 같은데, 이 부분에 대해서는 추가적인 공부가 필요할 듯 하다.

 

① 입력 x 차원: torch.Size([16(배치 크기), 152(시퀀스 최대 길이), 100(임베딩 벡터 차원)])

② 출력 output 차원: torch.Size([16, 152, 150(hidden 레이어 차원])

 

3) t_hidden = output[:, -1, :]

◽ output 벡터에서 0번째 차원(행)×2번째 차원(열) 크기로 벡터 형태를 바꾼다.

 

③ t_hidden 차원: torch.Size([16, 150])

 

4) logits = self.linear_layer(t_hidden)

◽ 16*150 크기인 t_hidden 벡터와 150*6 크기의 Linear 레이어 간 연산을 수행한다.

 

④ 최종 logits 차원: torch.Size([16, 6])