[Hands-on] Ch15 RNN과 CNN을 사용해 시퀀스 처리하기

 

15.1 순환 뉴런과 순환 층

출처: https://wikidocs.net/22886

 

◽ RNN은 각 타임 스텝 t마다 X(t)와 이전 타임 스텝의 출력인 Y(t-1)을 입력으로 받음

◽ 첫번째 타임 스텝은 이전 출력이 없기 때문에 보통 0으로 설정

◽ 시간을 축으로 나타낼 경우 시간에 따라 네트워크를 펼쳤다고 표현

 

하나의 샘플에 대한 순환 층의 출력

 

미니배치에 있는 전체 샘플에 대한 순환 뉴런 층의 출력

 

15.1.1 메모리 셀

◽ 메모리 셀(또는 셀) : 타임 스텝에 걸쳐 어떤 상태를 보존하는 신경망의 구성 요소

◽ h(t) : 타임 스텝 t에서의 셀의 상태. 그 타임 스텝의 입력과 이전 타임 스텝의 상태에 대한 함수

 

15.1.2 입력과 출력 시퀀스

1) 시퀀스-투-시퀀스 네트워크 : 하나의 입력 시퀀스, 하나의 출력 시퀀스(네트워크 전체로 보면 여러 개의 출력)

2) 시퀀스-투-벡터 네트워크 : 여러 개의 입력 시퀀스, 하나의 최종적인 출력 시퀀스(중간 과정의 출력들은 무시됨)

3) 벡터-투-시퀀스 네트워크 : 각 타임 스텝에서 하나의 입력 벡터를 반복해서 네트워크에 주입, 하나의 출력 시퀀스

 

 

15.3 시계열 예측하기

◽ 시계열 : 타임 스텝마다 하나 이상의 값을 가진 시퀀스

 

1) 단변량 시계열 : 타임 스텝마다 하나의 값을 가짐

예) 웹 사이트의 시간당 접속자 수, 도시의 날짜별 온도

 

2) 다변량 시계열 : 타임 스텝마다 여러 값을 가짐

 

 

15.4 긴 시퀀스 다루기

◽ 긴 시퀀스로 RNN을 훈련하려면 많은 타임 스텝에 걸쳐 실행해야 하기 때문에 네트워크가 매우 깊어져 일반적인 심층 신경망처럼 그래디언트 소실 문제나 폭주 문제가 발생할 수 있음

 

15.4.1 불안정한 그래디언트

◽ 좋은 가중치 초기화, 빠른 옵티마이저, 드롭아웃 등을 사용해 그래디언트 문제 해결 가능

◽ 하지만 ReLU와 같이 수렴하지 않는 활성화 함수는 RNN의 훈련을 더 불안정하게 만들 수 있음 → 출력 폭주 가능성이 존재함

◽ 위와 같은 이유에서 RNN의 기본적인 활성화 함수로 tanh를 사용함

◽ 그래디언트 자체가 폭주할 수 있기 때문에 훈련이 불안정하다고 느낄 경우 그래디언트 클리핑을 사용하는 것이 좋음

 

15.4.2 단기 기억 문제

◽ RNN을 거치면서 데이터가 변환되기 때문에 매 훈련 스텝 후 일부 정보가 사라짐

◽ 시간이 꽤 지나면 RNN이 입력의 흔적을 가지지 못하는 문제 발생

 

LSTM 셀

◽ keras → SimpleRNN 대신 LSTM or keras.layers.RNN 층에 LSTMCell 매개변수 추가

◽ 삭제 게이트 : 장기 상태의 어느 부분이 삭제되어야 하는지에 대해 제어

◽ 입력 게이트 : 어느 부분이 장기 상태에 더해져야 하는지에 대해 제어

◽ 출력 게이트 : 장기 상태의 어떤 부분을 읽어서 이 타임 스텝으 단기 상태와 출력으로 내보내야 하는지에 대해 제어

 

핍홀 연결

◽ 삭제 게이트와 입력 게이트의 제어기에 장기 기억 상태가 입력으로 추가되는 LSTM 변형 유형

 

GRU(Gate Recurrent Unit) 셀

◽ 게이트 순환 유닛

◽ LSTM 셀의 간소화된 버전

 

GRU 셀의 변화 내용

① 두 상태 벡터가 하나의 벡터로 합쳐짐

② 하나의 게이트 제어기가 삭제 게이트와 입력 게이트를 모두 제어

③ 전체 상태 벡터가 매 타임 스텝마다 출력되기 때문에 출력 게이트가 없음