1、书
《An introduction to Reforcement Learning》Sutton and Barto, 1998，400页
《Algorithms for Reforcement Learning》Szepesvari，2010，偏数学，不到100页
2、强化学习的特点
不存在监督者，有奖励信号；
反馈是延迟的，不是每步都有奖励；
时序很重要（数据不是独立同分布的）
动作决定接下来的环境
3、强化学习的例子
飞机、游戏、股市、发电厂控制、人形机器人行走
4、强化学习基于奖励假设
强化学习的目标是最大化期望累积收益
5、代理和环境
代理：执行动作，接受观察，接收奖励
环境：接收动作，释放观察，释放奖励
6、历史和状态
未来将要发生什么依赖于历史
状态决定未来会发生什么
状态是历史信息的函数
历史内容太多，不易记录，状态可以看做历史信息的简化
6.1、状态环境
环境状态是环境的私有表达；代理接收到观察和奖励，但是往往并不知道环境的状态；即使环境状态可见，往往也包含不相关信息
ps：环境状态在算法中不可用
6.2、动作状态
历史信息的函数；强化学习真正使用到的状态
6.3、信息状态（马尔科夫态）
当前状态仅与上一个状态有关；与其它历史状态无关
6.4、完全观察环境
假设观察=动作状态=信息状态，此时强化学习是一个MDP
6.5、部分观察环境
代理不能直接观察到环境；这是一个POMDP（partially observable MDP）
7、代理的构成
7.1、策略
如何执行，是状态到动作的映射，可以是确定性策略，也可以是非确定性策略
7.2、值函数
值定义：对未来奖励的预测
值函数：对状态和/或动作的评估；
类型：状态值函数；动作值函数；无论哪一种形式，都是基于某种策略来说的
用途：动作/状态选择；通过对动作/状态估值，进行策略选择
7.3、模型
模型：预测环境接下来会做什么
类型：转移模型（代理在某个状态下，执行某个动作后，转移向另一个状态的概率）
奖励模型（代理在某个状态下执行某个动作后，环境给予的奖励）
7.4、代理的分类
ValueBased：无策略；有值函数
PolicyBased：有策略；无值函数
ActorCritic：有策略；有值函数
ModelFree：没有model
8、强化学习的两个基本问题
8.1、学习
学习是指环境未知，代理通过和环境交互，优化策略
8.2、规划
规划是指环境已知，代理进行内部计算，优化策略
8.3、关系
通过学习，可以学习到环境，把未知变成已知
如果发现文中有问题，敬请联系作者批评指正，真诚欢迎您的指教，谢谢！
微信: legelsr0808
邮箱: legelsr0808@163.com
