DQN（Deep Q-learning）入门教程（二）之最优选择

在上一篇博客：DQN（Deep Q-learning）入门教程（一）之强化学习介绍中有三个很重要的函数：

策略： $\pi(a|s) = P(A_t=a | S_t=s)$
状态价值函数： $v_\pi(s)=\mathbb{E}\left[R_{t+1}+\gamma \left(S_{t+1}\right) | S_{t}=s\right]$
动作价值函数： $q_{\pi}(s,a) = \mathbb{E}_{\pi}(R_{t+1} + \gamma q_{\pi}(S_{t+1},A_{t+1}) | S_t=s, A_t=a)$

两个价值函数分别代表了某个状态的价值，和在状态 $s_t$ 下做某个action的价值。而策略函数就是我们需要进行求解的。因为对于我们来说，肯定是希望某个策略能够得到最大的价值。比如说，你会选择努力学习而不是去网吧，以获得棒棒糖的奖励。

一般来说，比较难去找到一个最优策略，但是可以通过比较若干不同策略的优劣来确定一个较好的策略，也就是局部最优解。

——强化学习（二）马尔科夫决策过程(MDP)

最优策略

首先，我们知道“好的策略产生好的价值”，因此策略的好坏可以通过价值的大小来比较。我们定义最佳的策略是 $\pi_*$ ,而我们的目的就是为了寻找这个 $\pi_*$

最优状态价值函数：代表所有策略下产生的不同状态的状态的价值函数中的最大值。

$v_{*}(s) = \max_{\pi}v_{\pi}(s)$
最优动作价值函数：代表所有策略下产生众多动作价值函数中的最大值。

$q_{*}(s,a) = \max_{\pi}q_{\pi}(s,a)$
怎么理解这个最优动作（行为）价值函数呢？个人觉得（如果有错的话，欢迎在评论区留言告诉我）

应该是这样的：

目前我们有一个最好的策略 $\pi_*$ ，它一定能够保证我们获得最好的分数。我们在 $t$ 时刻执行的动作是 $a$ ，然后在接下来的时刻，执行的策略都是 $\pi_*$ ，因此 $q_*(s,a)$ 一定是在当前状态 $s$ 下能够执行 $a$ 能够获得最好的分数了。那么，他有什么含义呢？它可以代表在当前状态执行 $a$ 动作好不好。比如说 $q_*(s,a_1) > q_*(s,a_2)$ 则就代表 $a_1$ 比 $a_2$ 好，因为它能够获得更多的奖励分数。

两个之间的关系：

结合下图，我们可以知道：

v_{*} (s) = max_{π} v_{π} (s) = max_{a} q_{*} (s, a) q_{*} (s, a) = max_{π} q_{π} (s, a) = R_{s}^{a} + γ \sum_{s^{'} \in S} P_{s s^{'}}^{a} v_{*} (s^{'})

$v_{*}(s) = \max_{\pi}v_{\pi}(s) = \max_{a}q_{*}(s,a) \\ q_{*}(s,a) = \max_{\pi}q_{\pi}(s,a) = R_s^a + \gamma \sum\limits_{s' \in S}P_{ss'}^av_{*}(s')$

实际上，寻找最优策略的过程就是寻找最优动作的过程：选取一个 $a$ 使得 $q_{\pi}(s,a)$ 最大。针对于最优策略，基于动作价值函数我们可以定义为：

π_{*} (a | s) = {\begin{cases} 1 & i f a = \arg max_{a \in A} q_{*} (s, a) \\ 0 & e l s e \end{cases}

$\pi_{*}(a|s)= \begin{cases} 1 & {if\;a=\arg\max_{a \in A}q_{*}(s,a)}\\ 0 & {else} \end{cases}$

最优策略实例

下图是UCL强化强化学习课程的一个实例，黄色圆圈的开始状态，红色方块的是结束状态。 $R$ 代表reward，每一个状态可以执行的action为红色字体（例如Facebook，Study等等），其中黑色的点分支对应的数字代表执行这个action之后的状态转移概率。

我们设衰减因子： $\gamma = 1$ ，因为每一个state都只对应2个action，因此，我们设初始策略 $\pi(a|s) = 0.5$ 。其终点（也就是 $s_5$ ）没有下一个状态，同时也没有相应的动作，因为我们定义其价值为 $v_5 =0$ 。

这里复说一下状态价值函数的定义： $v_{\pi}(s) = \sum\limits_{a \in A} \pi(a|s)(R_s^a + \gamma \sum\limits_{s' \in S}P_{ss'}^av_{\pi}(s'))$

针对于 $v_1$ ： $v_1 = 0.5*(-1+v_1) +0.5*(0+v_2)$
针对于 $v_2$ ： $v_2 = 0.5*(-1+v_1) +0.5*(-2+v_3)$
针对于 $v_3$ ： $v_3 = 0.5*(-2+v_4) +0.5*(0+v_5)$
针对于 $v_4$ ： $v_4 = 0.5*(10+v_5) +0.5*(1+0.2*v_2+0.4*v_3+0.4*v_4)$

解得方程组为: $v_1=-2.3, v_2=-1.3, v_3=2.7, v_4=7.4$ 。

上面是我们固定了策略 $\pi(a,s) = 0.5$ 得到得每一个状态得价值函数，因此上面的到的 $v$ 很可能不是最大的价值函数，因为这个策略不是最好的策略。

寻求最佳策略就是寻找最佳得动作价值函数，因此我们如果能够得到最优动作价值函数，也就得到了策略 $\pi_*$ 。

还是以上面得那个例子为例，通过求解每一个action对应得 $q_*(s,a)$ 。然后就可以得到最优策略。（策略即为 $s_2 \rarr s_3 \rarr s_4 \rarr s_5$ ）

下图中的9.4应该为8.4

求解过程如下所示，过程稍微有点多，实在是不好使用Latex进行说明，就使用草稿纸进行推导了。

上面的部分是我们人为的推导方法，电脑肯定没有我们这么聪明，那么对于电脑来说，应该怎么进行推导呢？

求解方法

求解方法有很多种，下面将介绍一种最基本的动态规划算法。

动态规划

当问题具有下列两个性质时，通常可以考虑使用动态规划来求解：

一个复杂问题的最优解由数个小问题的最优解构成，可以通过寻找子问题的最优解来得到复杂问题的最优解
子问题在复杂问题内重复出现，使得子问题的解可以被存储起来重复利用，也就是说子问题之间存在递推关系，通过较小的子问题状态递推出较大的子问题的状态。

而强化学习刚好满足这个。为什么呢？因为bellman方程：

\begin{matrix} (1) & v_{π} (s) = E [R_{t + 1} + γ v (S_{t + 1}) | S_{t} = s] v_{π} (s) = \sum_{a \in A} π (a | s) (R_{s}^{a} + γ \sum_{s^{'} \in S} P_{s s^{'}}^{a} v_{π} (s^{'})) \end{matrix}

$\begin{equation} v_\pi(s) =\mathbb{E}\left[R_{t+1}+\gamma v\left(S_{t+1}\right) | S_{t}=s\right] \\ v_{\pi}(s)=\sum_{a \in A} \pi(a | s)\left(R_{s}^{a}+\gamma \sum_{s^{\prime} \in S} P_{s s^{\prime}}^{a} v_{\pi}\left(s^{\prime}\right)\right) \end{equation}$

我们可以将求解每一个状态的价值函数定义为子问题，因为递推的关系，我们可以使用上一此迭代得到的价值函数来更新此时的价值函数。（妙哉！！！）

强化学习有两个基本问题：

预测(Prediction)：对给定策略（ $\pi$ ），奖励（Reward），状态集（S），动作集（A），和状态转化该概率（P），衰减因子（ $\gamma$ ），目标是求解基于该策略的价值函数 $v_{\pi}$ 。
控制(Control)：寻找一个最优策略的过程（实际上就是寻找最优的价值函数）。对给定奖励（Reward），状态集（S），动作集（A），和状态转化该概率（P），衰减因子（ $\gamma$ ），求解最优价值函数 $v_*$ 和最优策略 $\pi_*$ 。

策略评估求解预测问题

首先，我们来看如何使用动态规划来求解强化学习的预测问题，即求解给定策略的状态价值函数的问题。这个问题的求解过程我们通常叫做策略评估(Policy Evaluation)。

策略评估的基本思路是从任意一个状态价值函数开始，依据给定的策略，结合贝尔曼期望方程、状态转移概率和奖励同步迭代更新状态价值函数，直至其收敛，得到该策略下最终的状态价值函数。

—— 强化学习（三）用动态规划（DP）求解

首先假设我们已知第 $k$ 轮的状态价值函数，那么我们就可以得到第 $k+1$ 轮的状态价值函数：

v_{k + 1} (s) = \sum_{a \in A} π (a | s) (R_{s}^{a} + γ \sum_{s^{'} \in S} P_{s s^{'}}^{a} v_{k} (s^{'}))

$v_{k+1}(s) = \sum\limits_{a \in A} \pi(a|s)(R_s^a + \gamma \sum\limits_{s' \in S}P_{ss'}^av_{k}(s'))$

同时又可以简化为：

\begin{matrix} (2) & v^{k + 1} = R^{π} + γ P^{π} v^{k} \end{matrix}

$\begin{equation}\mathbf{v}^{k+1}=\mathcal{R}^{\pi}+\gamma \mathcal{P}^{\pi} \mathbf{v}^{k}\end{equation}$

这里引用Planning by Dynamic Programming中的一个例子：我们有一个4x4的宫格。只有左上和右下的格子是终止格子。该位置的价值固定为0，个体如果到达终止格子，则停止移动。个体在16宫格其他格的每次移动，得到的即时奖励 $R$ 都是-1，若往边界走，则会返回到原来的位置（也就是下一个状态还是原来的地方）。个体只能上下左右移动，每次移动一个位置。衰减因子 $\gamma = 1$ ， $P=1$ 。给定的策略是随机策略，每个方向的移动概率是 $0.25$ 。

K=1时：

第一行第二个：

$\begin{equation}\begin{aligned} v^{(1,2)} &= 0.25[(R +v^{1,0}) + (R +v^{1,1}) + (R +v^{1,2}) + (R +v^{2,1})] \\&= 0.25\times[(-1 + 0) + (-1 + 0) + (-1 + 0) + (-1 + 0)] \\&= -1 \end{aligned}\end{equation}$
其他同理，结果如图所示。
K=2时：

第一行第二个：

$\begin{equation}\begin{aligned} v^{(1,2)} &= 0.25[(R +v^{1,0}) + (R +v^{1,1}) + (R +v^{1,2}) + (R +v^{2,1})] \\ &= 0.25\times[(-1 + 0) + (-1 + -1) + (-1 + -1) + (-1 + -1)] \\ &= \frac{7}{4} \\ &\approx-1.7 \end{aligned}\end{equation}$
然后我们一直这样迭代下去，直到每个格子的价值的变化小于某一个阈值时，我们会停止迭代。

因此最终的得到结果如下：