『つくりながら学ぶ！深層強化学習』

Pythonで実装しながら学ぶ 強化学習・深層強化学習（DQN）

強化学習、さらにディープラーニングを組み合わせた深層強化学習DQN（Deep Q-Network）という用語を目にする機会が増えています。本書は関連の概念を分かりやすく解説しつつ、Python＋PyTorchで「倒立振子課題」「迷路を解くプログラム」「ブロック崩しの攻略」を実装していきます。

深層強化学習はまだまだ解決すべき課題の多い分野です。本書が深層強化学習に興味を持つ皆様の一助となれば幸いです。

目次

第1章 強化学習の概要
機械学習とその3分類（教師あり学習、教師なし学習、強化学習）について紹介します。

第2章 迷路課題に強化学習を実装しよう
簡単な強化学習（方策勾配法、Sarsa、Q学習）のコードをひとつずつ実装しながら、強化学習のアルゴリズムと実装方法を理解します。迷路を最短ルートでゴールするよう強化学習させます。

第3章 倒立振子課題に強化学習を実装しよう
2章で学んだ強化学習の基本をより複雑な課題への適用します。倒立振子とは、“ほうきを手のひらの上に立てる”遊びと同じ内容でその制御ルールを強化学習させます。Anacondaを用いたセットアップ方法も解説します。

第4章 PyTorchでディープラーニングを実装しよう
ディープラーニングの内容を理解し、PyTorchで実装します。ニューラルネットワークとディープラーニング発展の歴史、学習フェイズと推論フェイズについて解説。最後に手書き数字の画像を分類するMNIST課題を実装解説します。

第5章 深層強化学習DQNを実装しよう
強化学習にディープラーニングを組み合わせた“深層強化学習”を理解し、DQNを実装できるようにします。第3章の倒立振子課題に対してDQNを実装します。

第6章 深層強化学習の発展版を実装しよう
新しい深層強化学習の手法、Double-DQN、Dueling Network、Prioritized Experience Replay、そしてA3C、A2Cを理解し、実装できるようにします。

第7章 AWSのGPU環境でブロック崩しを実装しよう
ブロック崩しゲームを対象に深層強化学習のA2Cを実装します。実行環境としてAmazonのクラウドサービスAWSのGPU環境を使用する方法も解説します。