再探强化学习

主要记录一下自己仔细学习 RL 时的感悟。记录一下防止遗忘

Q-learning 和 DQN 都是基于值函数的（如 $V$ 和 $Q$ 函数），而策略梯度（policy gradient）则是基于策略的。后者显式的训练一个策略，对这个策略使用梯度下降等方法。
actor-critic 本质上是对 policy gradient 的改进。核心是在训练策略（即 actor）的同时也训练一个评价这个策略的 critic。在 policy gradient 中，我们是将当前 actor 下的 trajectory 计算出来之后（倒序）求出 loss，即 $\gamma$ 作为 discount factor 的加权和。进行梯度下降即可。而在 actor-critic 中，我们额外再训练一个 critic 作为衡量 actor 好坏的量度。critic 的 loss 可以设置为 $r+\gamma V(s_{t+1})-V(s_t)$ ，训练时，需要先将 $\gamma V(s_{t+1})$ 中的 $V$ detach 一下，不更新。
在 actor-critic 中，由于 critic 的选择不同会产生许多不同的方法。其一般更新形式如下：

其中， $\psi_t$ 可以有不同的选法。如 Q、V、A 等。
更新方式也有不同。

DQN 算法：本质上是求一个值函数 $Q(s,a)$ 并依据这个函数来进行决策。这个函数可以通过 gradient descent 求，loss 值就是 $r+\gamma \max_{a'}Q(s',a')-Q(s,a)$ ，假设 $s'$ 是 $s$ 在 $a$ 操作之后的后继。可以通过学习的方法来求出 $Q$ 函数。每次训练的数据 $(s,a,s',r)$ 是从 replay buffer 取出的
决策的时候，服从 $\epsilon$ -贪婪策略，即在 $s$ 的状态下，有 $\epsilon$ 的概率随机，有 $1-\epsilon$ 的概率直接选择 argmax。
很明显可以看到，策略的选择是依据值函数（ $Q、V$ 等）来进行的，因此是 value-based 的。

DQN 是 off-policy 的，因为有回放池的存在（replay buffer），每次 $s_t$ 在 DQN 中找到 $Q$ 值最大的 action，并使用得到 $(s_t,a_t,s_{t+1},r_t)$ 并存入 replay buffer 中，每次随机从 replay buffer 中抽出几个 $(s,a)$ 对 Q-network 进行训练。

PPO 算法：也是基于策略（policy based）的 on policy 的算法，是对 TRPO 的改进。在传统的 TRPO 中，优化目标为：
PPO 将这个限制条件写入了优化目标中。可以利用两种方法：PPO-惩罚和 PPO-截断来实现这个条件。其核心是利用优势函数 $A(s,a)$ 来判断当前行为的概率是应该上升还是下降。
其中 $A(s,a)$ 的定义：初始为 $r_t+\gamma V(s_{t+1})-V(s_t)$ （TD 的时序残差值），后来经计算发现可以利用类似 TD+MC 的方式得到

这里， $\delta_t$ 表示 TD 在 $t$ 时刻的时序残差（ $r_t+\gamma V(s_{t+1})-V(s_t)$ ）
，这样结合了 TD 和 MC 的优点。其中， $\lambda$ 也是一个超参数，代表越往后的步骤的影响有多大。
在 PPO 中，还有一种操作叫做剪切，表示就算 $A$ 很大，这一步对策略 $\pi$ 的影响也应有限，在 $\epsilon$ 的范围内。即：

接着再分开训练 actor 和 critic 即可。

policy gradient 算法（基础版本的，叫做 reinforce 算法）：输出一个策略即为输出 action 的分布，按照这个分布 sample 决策。设策略为 $\pi_{\theta}$ 定义目标函数为 reward 的期望值 $J(\theta)$ 。
经过推导， $J$ 的梯度与下式有关：

直观理解， $Q$ 越大，那么策略中这个决策的概率就应该越大（来获得更高的期望值）。
按照这个梯度来 gradient ascent 即可。

actor-critic 相当于是 policy gradient 的改进。在原始的 policy gradient（reinforce）中， $J$ 的求解依赖于 $Q(s,a)$ ，通常采用蒙特卡洛等方法求出。在 actor-critic 中，我们发现
因此对新的 $J$ 进行更新。

在训练时，训练了两个网络：actor 和 critic。在 DQN 中，相当于只训练了 critic（即 Q-network），通过 $\epsilon$ -greedy 的方式来进行决策（相当于没有训练 actor）。在 reinforce 中，只训练了 actor，critic 通过蒙特卡洛方法进行估测。
利用 actor-critic 框架，critic 依旧是 Q-network（具体 $\psi_t$ 可以是 Q、V、A、时序残差等），此外还训练了 actor 网络（如一个两层的网络，最后一层再取个 softmax 得到概率）。训练时，critic 网络就和普通 DQN 类似，用 TD 更新或者 DDQN 更新。而 actor 网络的更新就是拿概率的梯度和 $\psi_t$ 计算（进行梯度上升/下降）。

（其中，states 的大小应为 $batch\times state\_dim$ ，action 大小为 $batch\times action\_dim$ ）

DDPG：是一种确定性（deterministic）的 RL 方法。在 PPO，朴素的 actor-critic 等算法中，策略 $\pi$ 是一个分布，每次 policy net（actor）的 take action 函数实际上是 sample 出符合对应 $\pi$ 分布的结果。这是具有随机性的。与之相对的是确定性做法，即每次返回的是一个确定性的策略。
具体是如何做的呢？和 DQN 有点像。在 DQN 中，我们又新建了一个 target Q network $\hat{Q}$ ，来让 $Q(s_t, a_t)$ 拟合 $r+\gamma \max_a \hat{Q}(s_{t+1}, a)$ 。在 DDPG 中，我们使用学习到的确定性策略 $\mu(s)$ 来取代 $\max_a$ 。此外，由于当前的确定性策略和从 replay buffer 中取出的 $\{s_t,a_t,s_{t+1},r_t\}$ 所对应的策略不一定一样，因此 actor 也需要一个对应的延迟更新的 target actor。共计 4 个。
更新时，critic 和之前一样取 $Q(s_t,a_t)$ 和 $Q(s_{t+1},\mu(s_{t+1}))$ 的 MSE。actor 的更新借助公式，为 $Q(s_{t+1},\mu(s_{t+1}))$ 的值直接求平均再取梯度。

target actor 和 critic 采取软更新。

学习一下 sinkhorn distance 的由来。
有个 $d\times d$ 的矩阵 $P_{i,j}$ ，其中对每行求和是 $r_i$ ，对每列求和是 $c_j$ ，且 $\sum r_i=\sum c_j=1$ （因此能将这个过程看成 $r,c$ 两个概率分布）。此外， $P_{i,j}$ 将 $i$ 送到 $j$ 也是有代价的，这个代价就是 $M_{i,j}$ ，可以理解为“距离”，因为 optimal transport 也是从距离衍生出来的。 $M$ 需要满足的条件就是 $M_{i,i}=0$ 且 $M_{i,j}\leq M_{i,k}+M_{k,j}$ 。也就是说，答案即为 $\sum_{i,j} P_{i,j}M_{i,j}$
这里， $P_{i,j}$ 被称为 transportation plan
解决原始的 optimal transport 是困难的，可以进行适当的简化。
定义熵为 $h(P)=\sum_{i,j}P_{i,j}\log P_{i,j}$ 。
对原问题适当简化后：

将 KL 散度进一步简化，得到实际上需要最大化 $h(P)$
则原式 $\rightarrow \sum_{i,j} P_{i,j}M_{i,j}-\dfrac{1}{\lambda}h(P)$ ，这个问题是可以利用 sinkhorn 理论快速计算的。