[Hands-on] Ch18 강화 학습(Reinforcement Learning)

구조

출처: http://tcpschool.com/

 

개념

정적인 환경에서 학습을 진행하는 지도/비지도학습과 달리, 어떤 환경 안에서 정의된 주체(agent)가 현재의 상태(state)를 관찰하여 선택할 수 있는 행동(action)들 중에서 가장 최대의 보상(reward)을 가져다주는지 행동을 학습하는 것

 

 

18.1 보상을 최적화하기 위한 학습

에이전트는 보상의 장기간 기대치를 최대로 만드는 행동을 학습하는 것을 목적으로 함

 

 

18.2 정책 탐색

1) 정책의 개념

◽ 에이전트가 행동을 결정하기 위해 사용하는 알고리즘

◽ 에이전트가 어떤 상태에서 행동을 취하게 될 때 상태에 맞게 취할 수 있는 행동을 연결해 주는 함수

 

2) 확률적 정책

◽ 어떤 상태에 대한 행동들의 확률분포를 반환

 

3) 유전 알고리즘

◽ 적자생존 이론을 기반으로 한 최적화 기법

◽ 부모와 자식 개념 → 성능이 낮은 정책은 버리고 살아 있는 정책에서 자식 정책을 생산하게 함

◽ 좋은 정책을 찾을 때까지 여러 세대에 걸쳐 반복

 

4) 정책 그래디언트(Policy Gradient, PG)

◽ 정책 파라미터에 대한 보상의 그래디언트를 평가한 후 높은 보상의 방향을 따르는 그래디언트로 파라미터를 수정하는 최적화 기법

 

 

18.4 신경망 정책

관측을 입력으로 받고 실행할 행동에 대한 확률을 추정하여 출력하는 신경망

 

cf. 숨겨진 상태가 있을 경우는 과거의 행동과 관측을 고려해야 하지만 완전한 상태라면 과거에 대한 정보는 무시해도 됨

 

 

18.5 행동 평가: 신용 할당 문제

1) 개념

◽ 에이전트가 보상을 받았을 때 어떤 행동 때문에 받은 건지 알 수 없음

 

2) 해결 방법

◽ 행동이 일어난 후 각 단계마다 할인 계수 γ를 적용한 보상을 모두 합한 결과로 행동 평가

◽ 할인된 보상의 합 = 행동의 대가

 

cf. 할인 계수가 0에 가까우면 미래의 보상이 현재의 보상만큼 중요하게 취급되지 않지만 1에 가까우면 먼 미래의 보상이 현재의 보상만큼 중요하게 고려됨

 

 

18.6 정책 그래디언트 - REINFORCE 알고리즘

① 신경망 정책이 여러 번에 걸쳐 게임을 플레이하고 각 단계마다 선택된 행동이 더 높은 가능성을 갖게 하는 그래디언트 계산

② 에피소드를 몇 번 실행한 후 각 행동의 이익 계산

③ 행동의 이익이 양수인 경우 좋은 행동임을 의미하기 때문에 미래에 선택될 가능성이 높도록 앞서 계산한 그래디언트 적용

④ 모든 결과 그래디언트 벡터를 평균 내어 경사 하강법 단계 수행

 

 

18.7 마르코프 결정 과정

1) 마르코프 연쇄

◽ 정해진 개수의 상태를 가지고 있음

◽ 각 단계마다 시스템은 상태를 유지하거나 시스템의 상태가 바뀌게 되는데 상태의 변화를 전이라고 함

◽ 종료 상태 : 다른 상태로의 전이가 더 이상 일어나지 않을 때

 

2) 마르코프 성질

◽ n+1회의 상태는 오직 n회 또는 이전의 일정 기간 상태에만 영향을 받는 것

ex) 동전 던지기 : 독립 시행이기 때문에 마르코프 성질을 갖지 않음

 

3) 벨먼 최적 방정식

◽ T(s, a, s') : 에이전트가 행동 a를 선택했을 때 상태 s에서 상태 s'로 전이될 확률

◽ R(s, a, s') : 에이전트가 행동 a를 선택해서 상태 s에서 상태 s'로 전이했을 때 받을 수 있는 보상

◽ γ : 할인 계수

 

∴ 알고리즘이 가능한 모든 상태에 대한 최적의 상태 가치를 정확히 추정할 수 있도록 도와주는 방정식

 

4) 가치 반복 알고리즘

 

 

18.8 시간차 학습

◽ 독립적인 행동으로 이루어진 강화 학습 문제는 보통 마르코프 결정 과정으로 모델링될 수 있지만 초기 에이전트는 전이 확률과 보상이 얼마나 되는지를 알지 못함

◽ 보상에 대해 알기 위해서는 적어도 한 번은 각 상태와 전이를 경험해야 함

◽ 전이 확률에 대해 신뢰할 만한 추정을 얻으려면 여러 번의 경험 필요

 

 

18.9 Q-러닝

◽ 전이 확률과 보상을 모르는 초기 상황에서 Q-가치 반복 알고리즘 적용

◽ 에이전트의 플레이를 보고 점진적으로 Q-가치 추정을 향상하는 방식으로 작동