深度强化学习入门-李宏毅

强化学习入门

方法分类

Policy-based(Acotr)

深度强化学习怎么做的（和普通监督学习类似）：

1、Neural network as actor （定义模型）

2、goodness of function （定义目标函数）

3、pick the best function （选出最优模型 / 训练模型）

定义模型

$\theta$ 是神经网络参数

$\pi_{\theta} (s)$ 是智能体 Actor （注意，Actor具有随机性，即action根据概率得出的，所以每次游戏过程不一样）

$R_{\theta} = \sum_{t=1}^{T} r_t$ 是所有奖励之和

$\bar{R_{\theta}}$ 是所有 $R_{\theta}$ 的期望 （因为每次游戏不一样，奖励也不一样）

$\tau = { s_1, a_1, r_1, s_2, a_2, r_2, ... }$ 是游戏轨迹 trajectory

$P(\tau | \theta)$ 是trajectory发生的概率

$\bar{R_{\theta}} = \mathop{\sum}\limits_{\tau} R(\tau) P(\tau | \theta)$ 其中，$\tau$ 是多次游戏的采样

如何Gradient Ascent

1、有目标函数 $\bar{R_{\theta}} = \mathop{\sum }\limits_{\tau} R(\tau) P(\tau | \theta)$

2、求参数 $\theta^{\star} = \mathop{\arg\max}\limits_{\theta} \bar{R_{\theta}}$

3、梯度下降 $\theta^{n+1} = \theta^{n} + \eta \nabla \bar{R_{\theta}}^{n}$

4、

其中 $\nabla \bar{R_{\theta}} = \mathop{\sum}\limits_{\tau} R(\tau) \nabla P(\tau | \theta) = \mathop{\sum}\limits_{\tau} R(\tau) P(\tau | \theta) \frac{\nabla P(\tau | \theta)}{P(\tau | \theta)} \approx \frac{1}{n} \sum_{n=1}^{N} R(\tau) \nabla log P(\tau^n | \theta)$

其中 $P(\tau | \theta) = p(s_1) \prod_{t=1}^{n} p(a_t | s_t, \theta)$

把常数项去掉，得 $\nabla \bar{R_{\theta}} = \frac{1}{n} \sum_{n=1}^{N} \sum_{t=1}^{T_n} R(\tau^{n}) \nabla log p(a_t^n | s_t^n, \theta)$

其中，N是N次采样，T是一次完整的游戏序列

两个Tip

1、实际上，游戏的奖励函数大多是正数，而我们想要既有正数又有负数（梯度上升或梯度下降），所以需要在公式中加一个偏置项

2、$R(\tau^n)$ 不应该是整个序列的累加奖励，有以下优化：

• 应该是从当前时刻的状态$s_t$算起，$s_t$之前的奖励不算
• 每个时刻的奖励权重不应该一样
• 这些奖励可以提前算出来，用$A^{\theta}$表示

Value-based(Critic)

什么是Critic？

1、Critic不用做出action

2、假如有一个Actor $\pi$ , 如何评估Acotr的好坏？

3、用state value function状态价值函数 $V^{\pi}(s)$ 评价当前状态的好坏。 $V^{\pi}(s)$ 是当前状态开始的累加奖励的期望。深度学习中，$V^{\pi}(s)$ 就是一个神经网络。

如何计算V函数，有两种方法

方法一，Monte-Carlo：给定任意当前状态$s_a$，一直到游戏结束，得到真实值 $G_a$ ，用$G_a$ 优化网络。

方法二，Temporal-difference：用两个相邻状态的价值函数之差 $V^{\pi}(s_t) - V^{\pi}(s_{t+1}) \rightarrow r_t$ 逼近奖励，奖励$r_t$是真实值。

• 优点：不用完成整个游戏序列
• 缺点：损失小，收敛满

另一个Critic：计算动作

1、state-action value function $Q^{\pi}(s,a)$ ：通过状态s和动作a评估Actor好坏。

2、如果动作有限，可以通过Q函数计算出每个动作的分数。

Q-Learning

通过TD算法计算损失，把Q函数当成回归任务，不断更新参数。

算法：

Actor + Critic

Advantage Actor-Critic (A2C)方法：讲的不详细，后面有详细的，这里 略。

Asynchronous Advantage Actor-Critic-Agents (A3C)方法：用多个分身学习，然后汇总，更新...

Inverse Reinforcement Learning

现实中Reward函数不知道，怎么解决？

1、专家Expert演示怎么玩

2、IRL反推出Reward函数

3、根据Reward函数就可以找到最优的actor

实现原理：

1、专家演示一系列游戏记录；

2、Actor随机初始化，也玩一系列游戏记录；

3、定义专家的Reward 一定要高于 Actor的Reward，得到一个Reward函数；

4、基于新的Reward，Actor再玩一系列游戏记录，不断优化Reward函数

PPO

Proximal Policy Optimization 是 OpenAI默认的强化学习算法

PPO算法的学习过程：

On-policy：智能体学习、交互的环境都是同一个。通过“自己玩”完成学习，如象棋对弈。

Off-policy：智能体学习、交互的环境不是同一个。通过“看别人玩”完成学习。

Policy Gradient

入门章节讲了，这里略。

On-policy to Off-policy

问题引入

Policy-based方法的梯度这样计算：

问题：从$\pi_{\theta}$ 中采样数据，当$\theta$ 更新时，需要重新采样

解决：从另一个Acotr $\pi_{\theta'}$ 中采样数据，$\theta$ 更新时，对 $\theta'$ 无影响，无需重新采样。

Importance Sampling （上面式子的推导过程）

重要性采样：

从梯度更新，推出损失函数

Add constraint

上面损失函数已经有了，但是还需要加入约束，保证$\theta$ 和$\theta'$ 不要差太多。

Proximal Policy Optimization (PPO):

笔记：这里的KL散度不是计算参数的距离，而是在计算action的距离。

PPO算法：

笔记：发现这里每轮也需要采样，但是特别指出，在每一步可以update多次。

KL算法计算很复杂，因此提出了PPO2算法：

笔记：

1、clip函数约束第一个参数，介于第二个和第三个参数之间。蓝色线表示目标函数中第二项的取值。

2、这个算是函数两种情况讨论，当A>0 或A<0时。如下图，绿色线表示第一项取值，蓝色线表示第二项取值，红色线表示最终损失函数的取值。

Q-Learning

Introduction of Q-Learning

入门章节讲了，这里略。

Tips of Q-Learning

问题：Q-Learning训练时损失越来越小，但是Q函数越来越大，导致经常被高估。

Double DQN 解决方案：用两个Q函数

1、Q-Learning本身就需要两个网络，所以现在的计算量没有增加。

2、Q变大，并不影响$Q'$ 值；$Q'$ 变大，不影响Q选择的动作。

Dueling DQN 解决方案：修改网络架构。

将Q改成V+A，并对A做Normalization，控制Q不要变大。

Prioritized Reply 解决方案：优先采样TD error大的样本。

Q-Learning是从Buffer中采样，导致出现action多的采样概率高。这里优先采样TD error大的样本。

Multi-Step 解决方案：平衡TD和MC算法。

TD算法只需要一步，MC算法需要完整序列，这里用N步。

Noisy Net 解决方案：添加噪声。

第一种：在选择action时，用概率去选，而不是永远取最大action；

第二种：在每轮开始前，参数中注入噪声。

区别：第一种方式每次动作比较随机，第二种方式每次动作比较固定，实际效果是第二种方法好。

Distributional Q-funtion 解决方案：用多个Q函数。

Q是一个分布函数，一个可能不靠谱，用多个取平均或取最大。

Rainbow ：将上面7个方法全部组合起来用，达到了最强！

Q-Learning for Continuous Actions

如何解决连续动作？

第一种：采样多个动作，离散代替连续；

第二种：使用梯度计算动作；

第三种：用神经网络，比较简单，如下图，其中动作action是一个向量。

Actor-Critic

Advantage Actor-Critic-Agents

1、G用Q代替，b用V代替，将Policy-based和Value-based结合起来。

2、Q的值可以用V的值计算

3、算法流程图

4、Tips：actor和critic可以共用一部分参数

Asynchronous Advantage Actor-Critic-Agents

原理：用多个“分身”去计算梯度，但是在梯度更新时在同一个网络上，这样加速了计算和最终效果。

Pathwise Derivative Policy Gradient

一种基于Q-Learning改进的方法，其网络结构如下

算法步骤如下（相比Q-Learning算法，只多了几步）：

Sparse Reward

如果Reward非常稀疏，智能体可能什么也学不到，怎么解决这个问题呢？

Reward Shaping

重新设计Reward，可以和真实Reward不完全相同。

如，ICM模型的Reward的设计：

1、鼓励Agent好奇心： $\hat{s}_{t+1}$ 和 $s_{t+1}$ 差距越大Reward 越高。

2、不能一味鼓励好奇心，还要过滤不重要状态（略，这里不讲了）

Curriculum Learning

规划学习课程，从简单到困难学习。

如，Reverse Curriculum Learning 逆向课程学习步骤如下：

1、给一个目标状态 $s_g$

2、根据$s_g$采样，并学习得到多条学习路径及Reward，删除极端路径；

3、从第二步的采样中采样，学习路径及Reward，不断重复。

Imitation Learning

多数情况下，没有Reward。如果没有Reward，智能体怎么学习？

答案：需要有专家expert来演示demonstration

这里介绍两种：

1、Behavior Cloning

2、Inverse Reinforcement Learning (inverse optimal control)

Behavior Cloning

方法：用专家数据（s, a），训练网络。

问题：智能体对特殊情况无法处理。

解决：数据要多样性，智能体自己选择动作，但是Expert要指示出当前S正确的动作。

Inverse Reinforcement Learnin (IRL)

用expert数据反推reward；有了reward就可以训练智能体。