強化学習:Sutton&Barto本の感想とおすすめ講義

今回の記事では筆者むるむるも強化学習の入門として使ったSutton&BartoのIntroduction to Reinforcement Learningという強化学習の定番入門書を紹介していきたいと思います.

ちなみにこの本はこのウェブサイトから無料でダウンロードできます.英語が得意な方は,無料のPDFを読むことをおすすめします.この記事では英語版の本について書いていきます.

どうしても本が欲しい方はAmazonにあったのでリンクを張っておきます.

英語があまり得意でない方は古いVer.ですが,日本語版の翻訳も出ているので,一応リンクを張っておきます.

日本語翻訳の方は現在の英語版に比べて内容が少ないのでご注意ください.

全体的な感想

強化学習の基礎をしっかり学びたい方には最適な本です.強化学習の研究をしている方でこの本を読んでいない方は少ないのではないしょうか.

難易度は,ある程度強化学習について知っている方ならスラスラ読める部分が多いと思います.強化学習について何も知らない方が1冊目にこの本を読むと少し苦戦するかもしれませんので強化学習についての他の本や解説動画などと併せて読むと良いでしょう.目次を見て*マークがついている章は発展的なトピックなので最初は飛ばしても良いかもしれません.

大まかな内容としては,まずPart 0では強化学習についての説明や歴史などが紹介され,Part 1では一番古典的なテーブル型(StateとActionが離散的でモデルを使ってValue Functionなどを近似しない)の手法,Part 2では近似モデルを使った手法,Part 3では心理学や神経科学とのつながりや強化学習の応用の話が書かれています.

特にTD学習についてはとても詳しく書かれていて,この本だけでもしっかり理解すれば到達点はかなり高いです.Policyベースのアプローチに関してはこの本では13章の一章でだけ説明しているので,この本から最低限の基礎を学んで,もっと知りたい方は論文などを読んでいくと良いでしょう.

英語版はUpdateはされているものの,内容は全体的に古いので,あくまでも強化学習の基本的なことを勉強したい方向けです.最近流行りの深層強化学習などの説明は少ないです.比較的最近の話題に興味がある方は16章と17章を読むのが良いでしょう.そこまで詳しくは書かれていませんが,Alpha Goなどの事例も一応紹介されてはいます.

強化学習の基礎をしっかり理解したい人向けで,流行りだから深層強化学習まで最短で勉強したい!という感じの方向けの本ではありません.

本の目次

1 Introduction


Part I Tabular Solution Methods
2 Multi-armed Bandits
3 Finite Markov Decision Processes
4 Dynamic Programming
5 Monte Carlo Methods
6 Temporal-Di↵erence Learning
7 n-step Bootstrapping
8 Planning and Learning with Tabular Methods


Part II Approximate Solution Methods
9 On-policy Prediction with Approximation
10 On-policy Control with Approximation
11 *Off-policy Methods with Approximation
12 Eligibility Traces
13 Policy Gradient Methods


Part III Looking Deeper
14 Psychology
15 Neuroscience
16 Applications and Case Studies
17 Frontiers

強化学習の他の教材について

以下,強化学習を学ぶ際におすすめの講義です.

むるむる自身も近いうちに初心者向けの強化学習の動画をYoutubeで公開しようと思っているので,そしたら報告します.

RL Course by David Silver

DeepMindのDavid Silver氏のコースです.彼はあのAlpha Goの開発のリーダーも務めていました.

コースはSutton&Barto本をもとに進められており非常にわかりやすいです.強化学習の基本を学ぶコースで,深層強化学習などの新しい話題はあまり取り扱いません.

Deep Reinforcement Learning by UC Berkeley

強化学習の基本を勉強して,さらに深層強化学習を勉強したい方はこのコースがとてもおすすめです.深層強化学習の基本から最新のトピックまで扱っていて説明も非常にわかりやすいです.

リンクは2017年のものですが,毎年Updateされているはずなので新しいバージョンも探してみてください.

rl
最新情報をチェックしよう!