[Hands-on] Ch17-9 (1) 생성적 적대 신경망

출처: https://developers.google.com/machine-learning/gan/gan_structure

생성자(Generator)

랜덤한 분포(일반적으로 가우시안 분포)를 입력 받고 새로운 데이터 인스턴스 생성. 변이형 오토인코더의 디코더와 같은 기능을 제공하지만 훈련 방식이 크게 다르다.

 

 

판별자(Discriminator)

생성자로부터 얻은 가짜 데이터나 훈련 세트에서 추출한 진짜 데이터를 입력으로 받아 입력된 데이터가 진짜인지 가짜인지 구별한다.

 

 

작동 방식

판별자가 더 이상 가짜로 판정하지 않는 합성 데이터를 생성자가 생성할 수 있을 때까지, 생성자와 감별자는 서로 경쟁하면서 훈련하게 된다. 훈련을 성공적으로 마치면 생성자가 생성한 데이터로 새로운 합성 데이터를 만들어서 다른 심층 신경망에 입력으로 사용할 수도 있다.

출처: https://kr.mathworks.com/

 

 

훈련 방식

목표가 다른 두 네트워크를 훈련시키는 방법은 일반적인 신경망을 훈련시키는 방법과 다르다.

 

1) 판별자 훈련 → 생성자는 고정한 상태

훈련 세트에서 실제 이미지(레이블 1) 배치를 샘플링하고 생성자에서 생성한 동일한 수의 가짜 이미지(레이블 0)를 합친 후, 바이너리 크로스 엔트로피를 이용해 레이블된 배치로 한 스텝 동안 훈련한다.

 

2) 생성자 훈련 → 판별자는 고정한 상태

가짜 이미지 배치를 먼저 만들고 판별자를 사용해 이미지가 진짜인지 가짜인지 판별하게 된다. 그 후에는 배치에 진짜 이미지를 추가하지 않고 레이블을 모두 1로 세팅해 판별자가 진짜 이미지라고 믿을 이미지를 생성한다.

 

 

실습 결과

패션 MNIST 데이터셋을 이용해 이미지를 생성해본 결과는 아래와 같다.

 

 

GAN 훈련의 어려움

 

1) 모드 붕괴(생성자의 출력 다양성이 줄어들 때)

패션 MNIST를 예로 들어보자. 생성자가 다른 클래스보다 신발을 더 진짜 같이 만든다면 신발이 판별자를 속이기 쉽기 때문에 더 많은 신발 이미지를 만들도록 유도하면서 점점 다른 이미지를 생성하는 법을 잊게 된다. 생성자와 판별자는 서로 영향을 주는 관계이므로 판별자 또한 신발이 아닌 다른 이미지를 구별하는 법을 잊게 되는 것이다.

 

2) 파라미터 변동이 크고 불안정해질 수 있다.

 

∴ 여러 요인이 이런 복잡한 역학 관계에 영향을 주기 때문에 GAN의 하이퍼파라미터는 매우 민감하며 세부 튜닝에 많은 노력이 필요하다.

 

 

안정적인 훈련을 위해 제안된 기법

 

1) 경험 재생

매 반복 시 오래된 이미지는 삭제하면서 생성자가 만든 이미지를 재생 버퍼에 저장하고 실제 이미지와 버퍼에서 뽑은 가짜 이미지를 더해서 훈련한다. 판별자가 생성자의 가장 최근 출력에 과대적합될 가능성을 줄여준다.

 

2) 미니배치 판별

배치 간에 얼마나 비슷한 이미지가 있는지 측정하여 이 통계를 판별자에게 제공한다. 판별자는 다양성이 부족한 가짜 이미지 배치 전체를 쉽게 거부함으로써 생성자가 다양한 이미지를 생성하도록 유도하고 모드 붕괴의 위험을 줄인다.