[Reinforcement Learning] Model-Free Prediction

阅读目录

• 蒙特卡洛学习
• 时序差分学习
• 蒙特卡洛学习 vs. 时序差分学习
• DP、MC以及TD(0)
• Reference

上篇文章介绍了 Model-based 的通用方法——动态规划，本文内容介绍 Model-Free 情况下 Prediction 问题，即 "Estimate the value function of an unknown MDP"。

• Model-based：MDP已知，即转移矩阵和奖赏函数均已知
• Model-Free：MDP未知

回到顶部

蒙特卡洛学习

蒙特卡洛方法（Monte-Carlo Methods，简称MC）也叫做蒙特卡洛模拟，是指使用随机数（或更常见的伪随机数）来解决很多计算问题的方法。其实本质就是，通过尽可能随机的行为产生后验，然后通过后验来表征目标系统。

如下图为使用蒙特卡罗方法估算 $\pi$ 值，放置30000个随机点后，$\pi$ 的估算值与真实值相差0.07%。


在Model-Free的情况下，MC在强化学习中的应用就是获取价值函数，其特点如下：

• MC 可以从完整的 episodes 中学习（no bootstrapping）
• MC 以均值来计算价值，即 value = mean(return)
• MC 只能适用于 episodic MDPs（有限MDPs）

First-Visit 蒙特卡洛策略评估

First-Visit Monte-Carlo Policy Evaluation：

评估状态 $s$ 在给定策略 $\pi$ 下的价值函数 $v_{\pi}(s)$ 时，在一次 episode 中，状态 $s$ 在时刻 $t$ 第一次被访问时，计数器 $N(s) ← N(s) + 1$，累计价值 $S(s) ← S(s) + G_t$
当整个过程结束后，状态 $s$ 的价值 $V(s) = \frac{S(s)}{N(s)}$
根据大数定理（Law of Large Numbers）：$V(s) → v_{\pi}(s) \text{ as } N(s) → \infty$

Every-Visit 蒙特卡洛策略评估

Every-Visit Monte-Carlo Policy Evaluation：

评估状态 $s$ 在给定策略 $\pi$ 下的价值函数 $v_{\pi}(s)$ 时，在一次 episode 中，状态 $s$ 在时刻 $t$ 每次被访问时，计数器 $N(s) ← N(s) + 1$，累计价值 $S(s) ← S(s) + G_t$
当整个过程结束后，状态 $s$ 的价值 $V(s) = \frac{S(s)}{N(s)}$
根据大数定理（Law of Large Numbers）：$V(s) → v_{\pi}(s) \text{ as } N(s) → \infty$

Incremental Monte-Carlo

我们先看下增量式求平均：
The mean $\mu_1, \mu_2, ...$ of a sequence $x_1, x_2, ...$ can be computed incrementally：

$$\begin{align} \mu_k &= \frac{1}{k}\sum_{j=1}^{k}x_j\\ &= \frac{1}{k}\Bigl(x_k+\sum_{j=1}^{k-1}x_j \Bigr)\\ &= \frac{1}{k}(x_k + (k-1)\mu_{k-1})\\ &= \mu_{k-1} + \frac{1}{k}(x_k - \mu_{k-1}) \end{align}$$

根据上式我们可以得出增量式进行MC更新的公式：
每次 episode 结束后，增量式更新 $V(s)$，对于每个状态 $S_t$，其对应的 return 为 $G_t$

$$N(S_t) ← N(S_t) + 1 \\ V(S_t) ← V(S_t) + \frac{1}{N(S_t)}(G_t - V(S_t))$$

在非静态问题中，更新公式形式可以改为如下：

$$V(S_t) ← V(S_t) + \alpha (G_t - V(S_t))$$

回到顶部

时序差分学习

时序差分方法（Temporal-Difference Methods，简称TD）特点：

• TD 可以通过 bootstrapping 从非完整的 episodes 中学习
• TD updates a guess towards a guess

TD(λ)

下图为 TD target 在不同 n 下的示意图：


从上图可以看出，当 n 达到终止时，即为一个episode，此时对应的方法为MC，因此从这个角度看，MC属于TD的特殊情况。

n-step Return

n-step returns 可以表示如下：
$n=1$ 时：$G_{t}^{(1)} = R_{t+1} + \gamma V(S_{t+1})$
$n=2$ 时：$G_{t}^{(2)} = R_{t+1} + \gamma R_{t+2} + \gamma^2 V(S_{t+2})$
...
$n=\infty$ 时：$G_{t}^{\infty} = R_{t+1} + \gamma R_{t+2} + ... + \gamma^{T-1} R_T)$
因此，n-step return $G_{t}^{(n)} = R_{t+1} + \gamma R_{t+2} + ... + \gamma^{n}V(S_{t+n}))$

n-step TD 更新公式：

$$V(S_t) ← V(S_t) + \alpha (G_t^{(n)} - V(S_t))$$

Forward View of TD(λ)

我们能否把所有的 n-step return 组合起来？答案肯定是可以，组合后的return被称为是$\lambda$-return，其中$\lambda$是为了组合不同的n-step returns引入的权重因子。


$\lambda$-return:

$$G_t^{\lambda} = (1-\lambda)\sum_{n=1}^{\infty}\lambda^{n-1}G_t^{(n)}$$

Forward-view TD($\lambda$)：

$$V(S_t) ← V(S_t) + \alpha\Bigl(G_t^{\lambda} - V(S_t)\Bigr)$$

TD($\lambda$)对应的权重公式为 $( 1-\lambda)\lambda^{n-1}$，分布图如下所示：


Forward-view TD($\lambda$)的特点：

• Update value function towards the λ-return
• Forward-view looks into the future to compute $G_t^{\lambda}$
• Like MC, can only be computed from complete episodes

Backward View TD(λ)

• Forward view provides theory
• Backward view provides mechanism
• Update online, every step, from incomplete sequences

带有资格迹的TD($\lambda$)：

$$\delta_t = R_{t+1} + \gamma V(S_{t+1} - V(S_t))\\ V(s) ← V(s) + \alpha \delta_t E_t(s)$$

其中$\delta_t$为TD-error，$E_t(s)$为资格迹。

资格迹(Eligibility Traces)

资格迹本质就是对于频率高的，最近的状态赋予更高的信任（credit）/ 权重。

下图是对资格迹的一个描述：


关于TD($\lambda$)有一个结论：

The sum of offline updates is identical for forward-view and backward-view TD(λ).

这一块的内容不再深入介绍了，感兴趣的可以看Sutton的书和David的教程。

回到顶部

蒙特卡洛学习 vs. 时序差分学习

MC与TD异同点

相同点：都是从经验中在线的学习给定策略 $\pi$ 的价值函数 $v_{\pi}$

不同点：

• Incremental every-visit Monte-Carlo：朝着真实的 return $\color{Red}{G_t}$ 更新 $V(S_t)$

$$V(S_t) ← V(S_t) + \alpha (\color{Red}{G_t} - V(S_t))$$

• Simplest temporal-difference learning algorithm: TD(0)
  • 朝着已预估的 return $\color{Red}{R_{t+1} + \gamma V(S_{t+1})}$ 更新 $V(S_t)$
  $$V(S_t) ← V(S_t) + \alpha (\color{Red}{R_{t+1} + \gamma V(S_{t+1})} - V(S_t))$$
  • $\color{Red}{R_{t+1} + \gamma V(S_{t+1})}$ 称为是 TD target
  • $\color{Red}{R_{t+1} + \gamma V(S_{t+1})} - V(S_t)$ 称为是 TD error

下图以 Drive Home 举例说明两者的不同，MC 只能在回家后才能改变对回家时间的预判，而 TD 在每一步中不断根据实际情况来调整自己的预判。


MC与TD优缺点

学习方式

• TD 可以在知道最后结果之前学习（如上图举例）
  • TD can learn online after every step
  • MC must wait until end of episode before return is known
• TD 可以在不存在最后结果的情况下学习（比如无限/连续MDPs）
  • TD can learn from incomplete sequences
  • MC can only learn from complete sequences
  • TD works in continuing (non-terminating) environments
  • MC only works for episodic (terminating) environments

方差与偏差

• MC has high variance, zero bias（高方差，零偏差）
  • Good convergence properties
  • Not very sensitive to initial value
  • Very simple to understand and use
• TD has low variance, some bias（低方差，存在一定偏差）
  • Usually more efficient than MC
  • TD(0) converges to $v_{\pi}(s)$
  • More sensitive to initial value

关于 MC 和 TD 中方差和偏差问题的解释：

• MC 更新基于真实的 return $G_t = R_{t+1} + \gamma R_{t+2} + ... + \gamma^{T-1}R_{T}$ 是 $v_{\pi}(S_t)$ 的无偏估计。
• 真实的TD target $R_{t+1} + \gamma v_{\pi}(S_{t+1})$ 也是 $v_{\pi}(S_t)$ 的无偏估计。但是实际更新时用的 TD target $R_{t+1} + \gamma V(S_{t+1})$ 是 $v_{\pi}(S_t)$ 的有偏估计。
• TD target 具有更低的偏差：
  • Return 每次模拟依赖于许多的随机动作、转移概率以及回报
  • TD target 每次只依赖一次随机动作、转移概率以及回报

马尔可夫性

• TD exploits Markov property
  • Usually more efficient in Markov environments
• MC does not exploit Markov property
  • Usually more effective in non-Markov environments

回到顶部

DP、MC以及TD(0)

首先我们从 backup tree 上去直观地认识三者的不同。

• DP backup tree：Full-Width step（完整的step）


• MC backup tree：完整的episode


• TD(0) backup tree：单个step


Bootstrapping vs. Sampling

Bootstrapping：基于已预测的值进行更新

• DP bootstraps
• MC does not bootstrap
• TD bootstraps

Sampling：基于采样的期望来更新

• DP does not sample（model-based methods don't need sample）
• MC samples（model-free methods need sample）
• TD samples（model-free methods need sample）

下图从宏观的视角显示了 RL 的几种基本方法的区别：


回到顶部

Reference

[1] 维基百科-蒙特卡洛方法
[2] Reinforcement Learning: An Introduction, Richard S. Sutton and Andrew G. Barto, 2018
[3] David Silver's Homepage