강화학습은 정해진 목표를 달성하기 위하여 어떠한 행동을 어떤 순서로 수행하여야 최적의 목표를 달성하는지를 알려주는 기계학습 방법의 한 종류이다. 강화학습은 이러한 목표의 달성에 있어서 실제 문제의 복잡한 환경에서 알고리즘 자체가 자율적으로 스스로 관찰하고 여러가지 행동을 시도하고 피드백을 받고 다시 행동하는 학습 방식을 수행하면서 최적의 행동을 발견한다.
이러한 강화학습의 학습 형태는 다양한 경험의 성공과 실패를 통하여 학습을 해 나가는 우리 인간의 학습 형태와 유사한 점이 있다. 그런 의미에서 강화학습은 인간이 원하는 일반 인공지능에 한발 다가갈 수 있는 중요한 기술이 될 가능성을 보여주고 있다.
이러한 이유로 최근 심층강화학습에 대한 관심은 크게 높아지고 있으며 많은 연구가 진행되고 있다. 다양하고도 새로운 기술들이 발표되고 있으며 그 수준과 양이 크게 증가하였다. 하지만 심층강화학습은 상당히 기술적인 주제이고 그 배경에는 많은 수학과 기계학습의 이론이 필요한 경우가 많다. 따라서 심층강화학습의 기본에서부터 가장 최신의 기술까지 중요한 내용들을 체계적으로 정리하면서 설명하는 책이 필요하다는 생각을 하였으며 이러한 계기로 이 책의 집필을 시작하게 되었다. 실제로 집필 과정에서 많은 도서와 연구 논문을 찾으며 다양한 수학과 기계학습 이론을 접해야 했으며 그 과정에서 이러한 내용들을 상대적으로 쉽게 설명하는 책의 필요성을 더욱 실감하게 되었다.
이 책에서는 강화학습과 심층강화학습의 기초에서부터 가장 최신의 기술에까지 중요한 내용들을 설명하고 정리한 책이다. 전통적인 강화학습의 기본 개념인 벨만 방정식, MDP 모델, 동적 프로그래밍 등의 기술에서 시작하여 심층강화학습의 다양한 기술들을 소개하였다. 그리고 가장 최근의 고급 정책 그레디언트 기술과 모방학습 및 다중/계층 강화학습 등을 포함하였다.
아울러 심층학습(딥러닝)의 이해를 돕기 위하여 심층학습에 대한 이론도 한 개의 장에서 따로 설명하였다. 이 책은 심강화학습의 이해에 필요한 기계학습의 이론들은 필요할 때에 따로 절을 할애하여서 설명하여서 독자들이 독자적으로 내용을 이해하는데 도움이 되도록 하였다.
이 책이 더 많은 사람들에게 빠르게 성장하는 심층강화학습 기술에 대한 이해도를 높이는 조그마한 도움이 되기를 바란다. 그리고 심층강화학습이라는 이 훌륭한 기술의 전반에 대해 많은 연구자들이 좀더 친숙해지고 깊이 있게 학습할 수 있도록 하는 기회가 되기를 바란다.
1부 강화학습
CHAPTER 01 강화학습의 개요.
1.1 인공지능과 기계학습
1.2 기계학습의 방법들
1.3 강화학습의 소개
1.4 강화학습의 응용분야
1.5 요약
CHAPTER 02 마르코프 결정 프로세스
2.1 마르코프 모델
2.2 마르코프 보상 프로세스(MRP)
2.3 마르코프 결정 프로세스(MDP)
2.4 최적 가치값과 최적 정책
2.5 부분관측 마르코프 결정 프로세스
2.6 요약
CHAPTER 03 동적 프로그래밍
3.1 동적 프로그래밍의 조건
3.2 정책평가
3.3 컨트롤
3.4 정책반복 방법
3.5 가치값 반복
3.6 일반화된 정책반복
3.7 요약
CHAPTER 04 모델프리 정책평가
4.1 모델프리 환경
4.2 몬테카를로 정책평가 방법
4.3 TD 학습
4.4 몬테카를로와 TD의 배치 학습
4.5 TD(n) 학습
4.6 TD(λ) 학습
4.7 요약
CHAPTER 05 모델프리 컨트롤
5.1 몬테카를로 일반화된 정책반복
5.2 ε-탐욕방법 정책향상
5.3 TD 학습
5.4 Sarsa 방법
5.5 Sarsa(λ) 학습
5.6 오프정책
5.7 Q 학습
5.8 더블 Q 학습
5.9 요약
2부 심층강화학습
CHAPTER 06 가치값 근사함수
6.1 가치값 표시방법
6.2 가치값 근사함수방법
6.3 점진적 하강 방법
6.4 목적값이 주어진 가치값 근사함수 학습
6.5 몬테카를로 근사함수방법
6.6 TD 학습 근사함수방법
6.7 TD(l) 근사함수방법
6.8 적정성추적
6.9 모델프리 환경의 가치값 근사함수
6.10 요약
CHAPTER 07 심층신경망과 최적화 학습
7.1 인공신경망
7.2 신경망의 학습방법
7.3 심층신경망
7.4 심층신경망의 종류
7.5 요약
CHAPTER 08 심층 Q 네트워크
8.1 심층강화학습
8.2 심층 Q 네트워크
8.3 Atari 게임에서의 DQN
8.4 더블 DQN
8.5 듀얼 DQN
8.6 순환 DQN
8.7 요약
CHAPTER 09 정책 그레디언트
9.1 정책기반 강화학습
9.2 정책 네트워크
9.3 정책 목적함수
9.4 정책 최적화
9.5 정책 그레디언트 정리
9.6 REINFORCE 알고리즘
9.7 액터-크리틱 방법
9.8 GAE
9.9 요약
CHAPTER 10 고급 정책 그레디언트
10.1 A3C
10.2 최대엔트로피 강화학습
10.3 TRPO
10.4 PPO
10.5 DDPG
CHAPTER 11 모방 학습
11.1 보상값의 예측
11.2 행동복제
11.3 DAGGER
11.4 역강화학습
11.5 속성매칭
11.6 도제학습
11.7 GAIL
11.8 요약
CHAPTER 12 새로운 강화학습
12.1 다중 에이전트 강화학습
12.2 계층 강화학습
12.3 요약