Gradient descent

[부스트코스] 텐서플로우로 시작하는 딥러닝 기초

* 실습 소스 코드 : github.com/nsbg/AI

 

Concept

출처 : Google Developers

- 경사를 따라 내려가면서 최저점을 찾도록 설계된 알고리즘 

- 최적화 : 이득 최대화, 손실 최소화

- cost 함수에서 cost를 최소화하는 W, b를 찾는 것

 

 

How it works

1) 추정을 통해 W, b 설정(어떤 값이든 상관없음)

2) cost가 조금씩 줄어들도록 W, b 값 업데이트

3) 최저점에 도달했다고 판단될 때까지 과정 2) 반복

 

∴ 곡선 상에서 임의의 한 지점을 정한 후 이 점에서의 기울기(Gradient)를 구하고, 가중치 W와 기울기를 곱한 값을 W에서 빼줬을 때 그 결과값이 다음 가중치 W(어떤 점에서 시작해도 결과값은 동일)

 

 

Formal definition

 

Batch(GPU가 한번에 처리하는 데이터 묶음) gradient descent

전체 학습 데이터를 하나의 배치로 묶어서 학습시키는 경사 하강법으로 기울기를 한번만 계산하여 모델의 파라미터 업데이트

 

⭐ BGD 특징

- 전체 데이터를 이용해 학습이 이루어지기 때문에 연산 횟수가 적다. (1 epoch = 1 update)

- 연산 횟수가 적은 반면 메모리를 가장 많이 사용하게 되고 학습이 오래 걸린다.

- 전체 데이터에 대해 Gradient를 계산하기 때문에 수렴이 안정적이다. (변화 정도가 크지 않다는 의미)

 

 

Stochastic(확률적) gradient descent

전체 학습 데이터에서 랜덤하게 선택된 단 하나의 데이터를 이용하여 경사 하강법을 한번만 진행(batch 크기가 1)하는 방법

 

⭐ SGD 특징

- BGD에 비해 학습에 필요한 데이터가 적어서 속도가 빠르다.

- 개별 데이터에 대해 미분을 수행하기 때문에 기울기의 방향, 즉 결과의 진폭이 매번 불규칙하고 크게 변화한다.

- 모델 업데이트 주기가 짧고 성능 개선 정도를 빠르게 확인할 수 있다.

- cost를 최소화하는 W에 수렴했는지에 대한 판단이 어려운 편이다. 

- 오차율이 크고 GPU의 성능을 모두 활용하지 못한다.

 

 

Mini-batch stochastic gradient descent

현재 가장 널리 사용되고 있는 기법으로 BGD보다 빠르고 SGD보다 오차율이 낮은 학습 방법이다. 전체 데이터를 사용자가 지정한 배치 사이즈로 나눠서 학습시킨다.

 

ex) 전체 데이터가 100개인 데이터를 학습 & 배치 크기 20으로 가정

→ 전체 데이터를 20개씩 5묶음의 배치로 나눠 1 epoch = 5 update 진행

 

⭐ MSGD 특징

- 오차가 발생하긴 하지만 한 배치 손실값의 평균으로 학습을 수행하기 때문에 SGD만큼 오차가 심하지 않다.

 

 

BGD / SGD / MSGD