强化学习的数学原理-04值迭代与策略迭代

目录

• Value iteration algorithm
• Policy iteration algorithm
• Truncated policy iteration algorithm

Value iteration algorithm

$$v_{k+1}=f(v_k)=\underset{\pi }{max}(r_{\pi }+\gamma P_{\pi }{v}_k),k=1,2,3,...$$

算法可以被分为两步去做：

$Step1:policyupdate$

$${\pi }_{k+1}=\arg \underset{\pi }{max}(r_{\pi }+\gamma P_{\pi })v_k,where{v}_{k}isgiven$$

$Step2:valueupdate$

$$v_{k+1}=r_{{\pi }_{k+1}}+\gamma P_{{\pi }_{k+1}}{v}_k$$

Q:$v_k$是否是一个$statevalue$？$A:$不是的

Matrix-vector form对于理论分析通常是有用的

Elementwise form对于具体实现是有用的

$Step1:policyupdate$

$$Theeleementwiseformof{\pi }_{k+1}(s)=\arg \underset{\pi }{max}\left(r_{\pi +\gamma P_{\pi }{v}_k}\right)is$$

$${\pi }_{k+1}(s)=\arg \underset{\pi }{max}\sum _a\pi (a\mid s)(\sum _{r}p(r\mid s,a)r+\gamma \sum _s^{{}^{\prime }}p(s^{{}^{\prime }}\mid s,a)v_{s^{{}^{\prime }}}),s\in S$$

对应的最优策略应该是：$q_k(s,a)$最大的$action$

$${\pi }_{k+1}(a\mid s)=\{\begin{array}{ll}1,& \text{if }a=a_k^{\ast }(s)\\ 0,& \text{if }a\ne a_k^{\ast }(s)\end{array},where{a}_k^{\ast }=argma{x}_a{q}_k(s,a)$$

${\pi }_{k+1}$是一个贪心的策略,因为他只是单纯地寻找最大的$q-value$

$Step2:valueupdate$

因为${\pi }_{k+1}$是贪心的，上面的等式就变为

$$v_{k+1}(s)=\underset{a}{max}{q}_k(s,a)$$

也就是说$statevalue$就是$actionvalue$最大的那个$action$对应的

Policy iteration algorithm

给一个随机初始化的策略${\pi }_0$

​ 第一步进行：策略评估（PE， policy evaluation）

​ $$v_{{\pi }_k}:=:r_{{\pi }_k}+\gamma P_{{\pi }_k}{v}_{{\pi }_k}$$

​ 根据贝尔曼方程可以计算出$v_{{\pi }_k}$

​ 第二步进行：策略改进(PI，policy improvement)

​ $${\pi }_{k+1};=;\arg \underset{\pi }{max}(r_{\pi }+\gamma P_{\pi }{v}_{{\pi }_k})$$

具体实现需要看$elementwiseform$

Truncated policy iteration algorithm

是上面$valueiteration$和$policyiteration$算法的推广

对比一下$valueiteration$和$policyiteration$

$valueiteration$和$policyiteration$主要的区别在Value更新的那一步

$valueiteration$在计算了一步之后就用$v_1$去更新策略了，而$policyiteration$是在计算了无穷步之后用收敛的$v_{{\pi }_1}$去更新的$v_{\pi }$

而实际中我们是不可能去计算无穷步的，我们之后计算算有限步，当$error$很小的时候就停止更新，这就是$Truncatedpolicyiterationalgorithm$