[Hands-on] Ch17-9 (2) GAN 모델

 

DCGAN

깊은 합성곱(Deep Convolution) 층을 기반으로 큰 이미지를 생성하기 위한 GAN

 

1) Guideline

◽ 판별자의 풀링 층 → stride convolution으로 교체

◽ 생성자의 풀링 층 → fractional-strided convolution으로 교체

◽ 생성자의 출력층과 판별자의 입력층을 제외한 모든 층에 Batch Normalization 적용

◽ 층을 깊게 쌓기 위해 완전 연결 은닉층 제거

◽ tanh 함수를 사용해야 하는 출력층을 제외하고 생성자의 모든 층에 ReLU 활성화 함수 적용

◽ 판별자의 모든 층에 LeakyReLU 활성화 함수 사용 

 

2) 한계

DCGAN으로 매우 큰 이미지를 생성할 경우 특징은 구분되지만 전반적으로 일관성 없는 이미지를 얻을 가능성이 높음

ex) 한 쪽 소매가 더 긴 셔츠 - 셔츠임은 확인되지만 형태가 완전히 일치하지 않음

 

 

ProGAN Progressive growing GAN

작은 이미지를 훈련 초기에 생성하고 생성자와 판별자에 점진적으로 합성곱 층을 추가하면서 큰 이미지를 만드는 방법

 

 

모드 붕괴 방지 및 훈련 안정성 증가 기법

 

1) 미니배치 표준편차 층 추가

- 판별자의 마지막 층 근처에 추가, 입력에 있는 모든 위치에 대해 모든 채널/배치/샘플에 걸쳐 표준편차 계산

 

* 표준편차 S = tf.math.reduce_std(inputs, axis=[0, -1]))

* 표준편차 S는 모든 픽셀에 대해 평균한 하나의 값 V = tf.reduce_mean(S) 얻음

 

- 추가적인 특성 맵이 마지막으로 배치의 모든 샘플에 추가되고 계산된 이 값으로 채워짐

🙄 '계산된 이 값'이 표준편차일까 평균일까 둘다일까

 

2) 동일한 학습 속도

- He 초기화(가중치 초기화 방법) 대신 평균이 0이고 표준편차가 1인 가우시안 분포를 사용해 모든 가중치 초기화

- 층이 실행될 때마다 He 초기화에 있는 동일한 인자로 가중치 스케일 낮춤

- 가중치 초기화에서 스케일을 맞추지 않고 모델의 한 부분으로 가중치 조정

→ 훈련 내내 모든 파라미터의 다이내믹 레인지를 동일하게 만드는 역할

 

cf. 변수의 다이내믹 레인지? 변수가 수용할 수 있는 가장 큰 값과 작은 값 사이의 비율

 

3) 픽셀별 정규화 층 추가

- 생성자의 합성곱 층 뒤에 추가

- 동일한 이미지의 동일 위치에 있는 모든 활성화를 채널에 대해 정규화

- 생성자와 판별자 사이의 과도한 경쟁으로 활성화 값이 폭주하는 것을 막기 위한 목적

 

 

StyleGAN

- 생성자에 style transfer 기법 사용해 생성된 이미지가 훈련된 이미지와 같은 다양한 크기의 국부적인 구조 갖도록 함

- 생성된 이미지의 품질을 높여줌

- 판별자와 손실 함수는 그대로, 생성자만 변경

- 2개의 네트워크(매핑 네트워크&합성 네트워크)로 구성

 

◽ 매핑 네트워크 : 8개의 MLP가 잠재 표현 z를 벡터 w로 매핑

◽ 합성 네트워크 : 이미지 생성에 관여하는 네트워크

 

 

믹싱 규제

- 스타일 믹싱이라고 부르기도 함

- 일정 비율의 이미지를 두 개의 다른 코딩으로 생성하는 기법