强化学习的数学原理-07时序差分方法

目录

• 引入
• TD learing of state values
• TD learing of action values Sarsa
• TD learing of action values Expected Sarsa
• TD learing of action values n-step Sarsa
• TD learing of optimal action values：Q-learning
• a unified point of view

引入

这三个例子是层层递进的，都可以用$RM$算法去解决

TD learing of state values

这个算法是求解给定策略$\pi$的$statevalue$，为什么求解$statevalue$其实就又回到了之前的$PE$，有了$statevalue$就可进行$policyimprovement$

$TDlearning$是指的一类强化学习算法。

$TDlearning$也是一种$modelfree$的算法他也是依赖于$data$

$TD$算法需要的数据有$(s_0,r_1,s_1,...,s_t,r_{t+1},s_{t+1},...)$,表示成另一种形式就是$(s_t,r_{t+1},s_{t+1})$这些数据的生成依赖于给定的策略$\pi$

下面是$TD$算法的形式

$$v_{t+1}(s_t)=v_t(s_t)-{\alpha }_t(s_t)[v_t(s_t)-[r_{t+1}+\gamma v_t(s_{t+1})]]$$

$$v_{t+1}(s)=v_t(s),\mathrm{\forall }s\ne s_t$$

$wheret=0,1,2,...$，这里$v_t(s_t)$是$statevalue{v}_{\pi }(s_t)$的估计

${\alpha }_t(s_t)$是状态$s_t$在$t$时刻的学习率

• 在$t$时刻，只有被$visited$的$state{s}_t$被更新，而其他未被访问的$statess\ne s_t$保持不变
• 一般第二个式子很多地方都会省略，但这里写出来更清楚

• $TDtarget$:$\overline{v_t}{r}_{t+1}+\gamma v(s_{t+1})$实际上希望$v_t$朝着$TDtarget$的方向去改进
• $TDerror$${\delta }_t=v(s_t)-[r_{t+1}+\gamma v_t(s_{t+1})]=v(s_t)-\overline{v_t}$

---

为什么把$\overline{v_t}$叫做$TDtarget？$

​ 这是因为算法是要将$v(s_t)$朝着$\overline{v_t}$的方向改进,也就是说下一个时刻 $v(s_t)$离$\overline{v_t}$会更接近,所以$\overline{v_t}$叫做$TDtarget$

$$v_{t+1}(s_t)=v_t(s_t)-{\alpha }_t(s_t)[v_t(s_t)-\overline{v_t}]$$

对上面的方程进行等价变形

$$v_{t+1}(s_t)-\overline{v_t}=v_t(s_t)-\overline{v_t}-{\alpha }_t(s_t)[v_t(s_t)-\overline{v_t}]$$

$$v_{t+1}(s_t)-\overline{v_t}=[1-{\alpha }_t(s_t)][v_t(s_t)-\overline{v_t}]$$

上面的方程在描述一件事情：$v_t$和$\overline{v_t}$之间差的变化，左边是$t+1$时刻的，右边是$t$时刻的.

对上面方程两边求绝对值.

$$\mid v_{t+1}(s_t)-\overline{v_t}\mid =\mid [1-{\alpha }_t(s_t)]\mid \mid [v_t(s_t)-\overline{v_t}]\mid$$

因为${\alpha }_t(s_t)$是一个比较小的正数,所以$0<1-{\alpha }_t(s_t)<1$

所以就有：

$$\mid v_{t+1}(s_t)-\overline{v_t}\mid \le \mid [v_t(s_t)-\overline{v_t}]\mid$$

上面的式子就说明在下一个时刻$t+1$,$v(s_t)$离$\overline{v_t}$的距离更近了，所以这个算法就是把$v_t(s_t)$朝着$\overline{v_t}$的方向改进.

---

如何理解$TDerror$

$${\delta }_t=v(s_t)-[r_{t+1}+\gamma v(s_{t+1})]$$

• 描述在两个时刻上面的$difference$
• 描述$v_{\pi }\mathrm{和}{v}_t$之间的误差，也就是说当$v_t=v_{\pi }$时${\delta }_t=0$,反过来说当${\delta }_t\ne 0$时，$v_t\ne v_{\pi }$

---

上面的$TD$算法仅仅能用来估计$statevalue$,不能直接估计$actionvalue$，同时也不能找到$optimalpolicies$

TD learing of action values Sarsa

$Sarsa$算法及其变形在做的事情是给定一个策略能够估计出来一个$actionvalue$，这也是$policyevaluation(PE)$的过程，然后再结合$policyimprovement(PE)$就可以找到最优策略.

---

$First$,给定一个$policy\pi$去估计$actionvalue$

假设我们有一些$experience\{(s_t,a_t,r_{t+1},s_{t+1},a_{t+1}){\}}_t$

有了上面的$experience$，我们就可以进行算法了

$$q_{t+1}(s_t,a_t)=q_t(s_t,a_t)-{\alpha }_t(s_t,a_t)[q_t(s_t,a_t)-[r_{t+1}+\gamma q_t(s_{t+1},a_{t+1})]]$$

$$q_{t+1}(s,a)=q_t(s,a),\mathrm{\forall }(s,a)\ne (s_t,a_t)$$

$wheret=0,1,2,...$

• $q_t(s_t,a_t)$是$q_{\pi }(s_t,a_t)$的一个估计
• ${\alpha }_t(s_t,a_t)$是依赖于$(s_t,a_t)$的学习率

---

$sarsa$算法是$stateactionrewardstateaction$的首字母的缩写

$sarsa$算法和上面的$TDlearning$基本上是一摸一样的，只不过是将对状态的估计，变成了对动作$(actionvalue)$的估计

$sarsa$实际上也是在求解一个贝尔曼公式，只不过这个贝尔曼公式的形式和$TDlearning$中的贝尔曼公式的形式不同

$$q_{\pi }(s,a)=\mathbb{E}[R+\gamma q_{\pi }(S^{{}^{\prime }},A^{{}^{\prime }}|s,a)],\mathrm{\forall }s,a$$

和之前使用$statevalue$不同的是，这个贝尔曼期望方程是使用$actionvalue$来表示的,刻画了不同的$actionvalue$之间的关系.

---

上面算法只是对$actionvalue$进行求解，为了找到最优策略，还需要进行$policyimprovement(PE)$

实际上$Sarsa$算法通常就指的是将$Sarsa$和$policyimprovementstep$

注意上面$policyimprovement$是采用的之前内容中的$ϵ-gready$算法

---

关于传统的$Policyiteration$和广义的$GPI$

TD learing of action values Expected Sarsa

这个算法和下面的$n-stepsarsa$算法实际上是没有那么重要的，但是从一个经典算法出发,然后去推广改进,这种思路对于做研究来说是非常常见的

相比于原始的$sarsa$，需要计算期望，也就需要更大的计算量，但是随机性减少了

TD learing of action values n-step Sarsa

$n-stepSarsa$包含了$Sarsa$和$MonteCarlolearning$两种方法

先复习一下$actionvalue$的定义

$$q_{\pi }(s,a)=\mathbb{E}[G_t\mid S_t=s,A_t=a]$$

$discountedreturn$的写法有很多种形式

$Sarsa\leftarrow G_t^{(1)}=R_{t+1}+\gamma q_{\pi }(S_{t+1}+A_{t+1})$

$$\leftarrow G_t^{(2)}=R_{t+1}+\gamma R_{t+2}+{\gamma }^2{q}_{\pi }(S_{t+2}+A_{t+2})$$

$$n-stepSarsa\leftarrow G_t^{(n)}=R_{t+1}+\gamma R_{t+2}+...+{\gamma }^n{q}_{\pi }(S_{t+n}+A_{t+n})$$

$$MC\leftarrow G_t^{\mathrm{\infty }}=R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+...$$

• $n-stepsarsa$所需要的数据既不像$sarsa$那样只需要前面5个$(s_t,a_t,r_{t+1},s_{t+1},a_{t+1})$也不像$MC$那样需要整个$episode$d额全部，而是只需要中间一部分
• 存在问题，在$t$时刻是不知道后面$(r_{t+n},s_{t+n},a_{t+n})$的,在t时刻虽然得到了一些数据，但是不不能立刻去更新，而是需要等待，等待需要的数据都收集到，才能进行更新

$online$和$offline$，$MC$方法是$offline$的，$Sarsa$是$online$

而$n-stepsarsa$是一种特殊的$onlilne$的

TD learing of optimal action values：Q-learning

终于结束了$Sarsa$来到了大名鼎鼎的$Q-learning$

$Q-learning$是直接估计$optimalactionvalue$不需要去做$policyevaluation$和$policyimprovement$,而是能直接去估计最优的$actionvalue$

---

下面是$Q-learningalgorithm:$

$$q_{t+1}(s_t,a_t)=q_t(s_t,a_t)-{\alpha }_t(s_t,a_t)[q_t(s_t,a_t)-[r_{t+1}+\gamma \underset{a\in A}{max}{q}_t(s_{t+1},a]]$$

$$q_{t+1}(s,a)=q_t(s,a),\mathrm{\forall }(s,a)\ne (s_t,a_t)$$

$Q-learning$和$Sarsa$非常相似，它们之间的区别仅仅在于$TDtarget$不同

$Q-learning$中$TDtarget$是$r_{t+1}+\gamma \underset{a\in A}{max}q(s_{t+1},a)$

$Saras$中的$TDtarget$是$r_{t+1}+\gamma q_t(s_{t+1},a_{t+1})$

$Q-learning$在数学上是在求解一个用$actionvalue$表示的贝尔曼最优方程

$$q(s,a)=\mathbb{E}[R_{t+1}+\gamma \underset{a}{max}q(S_{t+1},a|S_t=t,A_t=a)],\mathrm{\forall }s,a$$

上面的就是大名鼎鼎的$Q-learning$了，经过前面$TDlearning$还有贝尔曼方程的铺垫，$Q-learning$理解起来就简单多了，下面是关于$Q-leanring$的一些性质

---

$Off-policy$ $vs$ $on-policy$

在$TDlearning$中存在两个$policy$

• 一个是$behaviorpolicy$是用来和环境交互生成$experiencesamples$的
• 另一个是$targetpolicy$是用来不断朝着$optimalpolicy$去更新的

on-policy：$behaviorpolicy$和$targetpolicy$是相同的

off-policy：$behaviorpolicy$和$targetpolicy$是可以不相同的

$Sarsa$是一种$on-policy$的算法，而$Q-learning$是$off-policy$的算法

如何判断一个算法是$on-policy$还是$off-policy$的

• 看算法在解决什么数学问题
• 可以看执行算法需要什么东西

---

两种$q-learning$的算法伪代码

$off-policy$可以直接使用$Gready$是因为不需要用$targetpolicy$去探索生成数据，因为生成数据是${\pi }_b$的事情

a unified point of view