强化学习的数学原理-02贝尔曼公式

目录

• Motivating examples
• state value
• Bellman equation
• Matrix-vector form
• Action value
• summary

Motivating examples

一个核心概念：state value

一个基本的工具：Bellman equation

为什么return是重要的？

return可以用来评估policy

下面计算3个例子

计算return的方法:

第一种方法:(by definition|通过定义)

用$v_i$表示从$s_i$开始得到的return

$$\begin{array}{rl}{v}_1& =r_1+\gamma r_2+{\gamma }^2{r}_3+...\\ v_2& =r_2+\gamma r_3+{\gamma }^2{r}_4+...\\ v_3& =r_3+\gamma r_4+{\gamma }^2{r}_1+...\\ v_4& =r_4+\gamma r_1+{\gamma }^2{r}_2+...\end{array}$$

第二种方法:

$$\begin{array}{rl}{v}_1& =r_1+\gamma r_2+{\gamma }^2{r}_3+...\\ & =r_1+\gamma (r_2+\gamma r_3+...)\\ & =r_1+\gamma v_2\end{array}$$

其他式子依次类推

上面的式子从直观上讲,就是从$s_1$跳到$s_2$

然后可以发现return之间彼此依赖,一个return会依赖于其他return,这种想法是Bootstrapping

上面的式子是有循环依赖的,如何解决上面的式子.

先把上面的式子写成矩阵形式

然后再把上面的式子写成一个更简化的形式就是:

$$\begin{array}{rl}\mathit{v}& =\mathit{r}+\gamma \mathit{P}\mathit{v}\\ \mathit{v}(\mathit{I}-\gamma \mathit{P})& =\mathit{r}\\ \mathit{v}& =\mathit{r}{(\mathit{I}-\gamma \mathit{P})}^{-1}\end{array}$$

于是就求出了v

$$\mathit{v}=\mathit{r}+\gamma \mathit{P}\mathit{v}$$

这个就是贝尔曼公式,只不过是对于确定问题的.

state value

$$S_t\stackrel{A_t}{\to }{R}_{t+1},S_{t+1}$$

• $t,t+1$:指的是具体的时刻
• $S_t$:指的是t时刻的状态
• $A_t$:在t时刻采取的action
• $R_{t+1}$:在采取$A_t$后得到的reward
• $S_{t+1}$:在采取$A_t$转移到的状态

上面的$R_{t+1}$也可以写成$R_t$,但一般写成$R_{t+1}$,理解其含义即可.

注意上面的$S_{t+1},A_t,R_{t+1}$都是大写,这表示这些变量都是随机变量(random varibles),我们可以对这些随机变量做一些操作如:期望(Expection)

所有这些跳跃都是由$probabilitydistributions$

• $S_t\to A_t$是由$\pi (A_t=a|S_t=s)$
• $S_t,A_t\to R_{t+1}$是由$p(R_{t+1}=r|S_t=s,A_t=a)$
• $S_t,A_t\to S_{t+1}$是由$p(S_{t+1}=s^{{}^{\prime }}|S_t=s,A_t=a)$

把上面单步的操作推广就可以得到多步的操作(multi-step trajectory)

$$S_t\stackrel{A_t}{\to }{R}_{t+1},S_{t+1}\stackrel{A_{t+1}}{\to }{R}_{t+2},S_{t+2}\stackrel{A_{t+2}}{\to }{R}_{t+3},...$$

上面的trajectory可以求discounted return

$$G_t=R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+...$$

• $\gamma \in [0,1)$ 是一个折扣率
• $G_t\mathrm{是}\mathrm{一}\mathrm{个}\mathrm{随}\mathrm{机}\mathrm{变}\mathrm{量},\mathrm{因}\mathrm{为}{R}_t,R_{t+1}$是随机变量

在有了上面的铺垫之后就可定义$statevalue$了

$$v_{\pi }(s)=\mathbb{E}[G_t\mid S_t=s]$$

state value实际上就是对$G_t$求期望,state value全称是叫state value function

• 对于state value,他是s的函数
• state value是策略的函数,可以这样写$v(s,\pi )\mathrm{和}{v}_{\pi }(s)$是等价的,为了简单起见用后面的形式

return和state value的区别,return是针对单个tragectory而言的,而state是针对多个trajectory而言的,如果从一个状态出发可以得到多个trajectory那么return和state value是有区别的,如果从一个状态出发得到的trajectory是确定的,那么return和state value是没有区别的.

Bellman equation

上面说了$statevalue$的定义,下面就是要说明如何计算$statevalue$,计算$statevalue$的工具就是贝尔曼公式

用一句话描述贝尔曼公式的话就是它描述了不同状态的$statevalue$之间的关系

首先考虑一个trajectory

$$S_t\stackrel{A_t}{\to }{R}_{t+1},S_{t+1}\stackrel{A_{t+1}}{\to }{R}_{t+2},S_{t+2}\stackrel{A_{t+2}}{\to }{R}_{t+3},...$$

然后可以计算$G_t$

$$\begin{array}{rl}{G}_t& =R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+...\\ & =R_{t+1}+\gamma G_{t+1}\end{array}$$

下面是state value的定义

$$\begin{array}{rl}{v}_{\pi }(s)& =\mathbb{E}[G_t\mid S_t=s]\\ & =\mathbb{E}[R_{t+1}+\gamma Gt+1\mid S_t=s]\\ & =\mathbb{E}[R_{t+1}\mid S_t=s]+\gamma \mathbb{E}[G_{t+1}\mid S_t=s]\end{array}$$

下面就是分别分析这两部分,计算出这两部分的形式,于是就能得到贝尔曼公式.

首先分析计算第一部分:

$$\begin{array}{rl}\mathbb{E}[R_{t+1}\mid S_t=s]& =\sum _a\pi (a\mid s)\mathbb{E}[R_{t+1}\mid S_t=s,A_t=a]\\ & =\sum _a\pi (a\mid s)\sum _{r}p(r\mid s,a)r\end{array}$$

第一部分就是能得到的immediate reward的期望(expectation)

然后分析计算第二项

$$\begin{array}{rl}\mathbb{E}[G_t+1\mid S_t=s]& =\sum _{s^{{}^{\prime }}}\mathbb{E}[G_{t+1}\mid S_t=s,S_{t+1}=s^{{}^{\prime }}]p(s^{{}^{\prime }}\mid s)\\ & =\sum _{s^{{}^{\prime }}}\mathbb{E}[G_{t+1}\mid S_{t+1}=s^{{}^{\prime }}]p(s^{{}^{\prime }}\mid s)\\ & =\sum _{s^{{}^{\prime }}}{v}_{\pi }(s^{{}^{\prime }})p(s^{{}^{\prime }}\mid s)\\ & =\sum _{s^{{}^{\prime }}}{v}_{\pi }\sum _{a}p(s^{{}^{\prime }}\mid s,a)\pi (s\mid a)\end{array}$$

第二项是future rewards的期望(expectation)
$\mathbb{E}[G_{t+1}\mid S_t=s,S_{t+1}=s^{{}^{\prime }}]=\mathbb{E}[G_{t+1}\mid S_{t+1}=s^{{}^{\prime }}]$是因为马尔可夫无记忆性(memoryless markov property)

于是就可以给出贝尔曼公式的定义:

$$\begin{array}{rl}{v}_{\pi }(s)& =\mathbb{E}[R_{t+1}\mid S_t=s]+\gamma \mathbb{E}[G_{t+1}\mid S_t=s]\\ & =\sum _a\pi (s\mid a)\sum _{r}p(r|s,a)r+\gamma \sum _a\pi (a\mid s)\sum _{s^{{}^{\prime }}}p(s^{{}^{\prime }}\mid s,a)v_{\pi }(s^{{}^{\prime }})\\ & =\sum _a\pi (a\mid s)[\sum _{r}p(r|s,a)r+\gamma \sum _{s^{{}^{\prime }}}p(s^{{}^{\prime }}\mid s,a)v_{\pi }(s^{{}^{\prime }})],\mathrm{\forall }s\in S\end{array}$$

上面公式中的一些重要的点

• 上面的公式就是贝尔曼公式,它实际上描述了不同状态的state value之间的关系
• 上面的式子实际上包含两项,一个是immediate reward term,另一部分是future reward term
• 另外上面的式子注意最后的部分,并非是一个式子,而是对于状态空间中所有的状态都成立的 $\mathrm{\forall }s\in S$
• state value $v_{\pi }(s),v_{\pi }(s^{{}^{\prime }})\mathrm{都}\mathrm{是}\mathrm{需}\mathrm{要}\mathrm{进}\mathrm{行}\mathrm{计}\mathrm{算}\mathrm{的},\mathrm{可}\mathrm{以}\mathrm{通}\mathrm{过}Bootstrapping\mathrm{来}\mathrm{计}\mathrm{算}$
• $\pi (a\mid s)$这个就是policy,这是被给出的,所以贝尔曼公式是依赖于policy的,把这个state value计算出来实际上这件事情叫做policy evaluation
• $p(s^{{}^{\prime }}\mid s,a),p(r,\mid s,a)$叫dynamic model或者叫environment model.然后会根据是否知道这个dynamic model分为两种算法,不知道model的算法就是model free reinforcement learning算法

Matrix-vector form

当我们已经有了一个贝尔曼公式之后,后面的就是需要考虑如何求解这个bellman equation.

$$v_{\pi }(s)=\sum _a\pi (a\mid s)[\sum _{r}p(r|s,a)r+\gamma \sum _{s^{{}^{\prime }}}p(s^{{}^{\prime }}\mid s,a)v_{\pi }(s^{{}^{\prime }})]$$

如果仅仅从这一个式子中求出state value是不可能的,但是注意到对于所有的state,贝尔曼公式都是成立的,如果有n个状态,那么就会有n个equation,把所有的equation放到一起就得到了一组,进一步就可把这些equation整理成matrix-vector form,matrix-vector form是非常优雅和重要的,对于我们求解state value是非常有帮助的

把上面的贝尔曼公式整理,合并一下表示成更简单的形式

$$v_{\pi }(s)=r_{\pi }(s)+\gamma \sum _{s^{{}^{\prime }}}{p}_{\pi }(s^{{}^{\prime }}\mid s)v_{\pi }(s^{{}^{\prime }})$$

$$r_{\pi }(s)=\sum _a\pi (a\mid s)\sum _{r}p(r\mid s,a)r,p_{\pi }(s^{{}^{\prime }}\mid s)=\sum _a\pi (a\mid s)p(s^{{}^{\prime }}\mid s,a)$$

为了把贝尔曼公式写成一个矩阵向量的形式,实际上要把所有的状态写在一起,于是就需要给上面的状态编上号.于是上面的式子进一步化为:

$$v_{\pi }(s_i)=r_{\pi }(s_i)+\gamma \sum _{s_j}{p}_{\pi }(s_j\mid s_i)v_{\pi }(s_j)$$

把所有的状态放到一起,就可以上面的式子变成matrix-vector form啦

$$v_{\pi }=r_{\pi }+\gamma P_{\pi }{v}_{\pi }$$

把上面式子中的一些量展开写

• $v_{\pi }={[v_{\pi }(s_1),...,v_{\pi }(s_n)]}^T\in {\mathbb{R}}^n$

• $r_{\pi }={[r_{\pi }(s_1),...,r_{\pi }(s_n)]}^T\in {\mathbb{R}}^n$

• $P_{\pi }\in {\mathbb{R}}^{n\times n},where[P_{\pi }{]}_{ij}=p_{\pi }(s_j\mid s_i)$是一个转移矩阵

下面通过$n=4$这个例子来看一下这个矩阵形式的具体一点的表示

$$\left[\begin{array}{c}{v}_{\pi }(s_1)\\ v_{\pi }(s_2)\\ v_{\pi }(s_3)\\ v_{\pi }(s_4)\end{array}\right]=\left[\begin{array}{c}{r}_{\pi }(s_1)\\ r_{\pi }(s_2)\\ r_{\pi }(s_3)\\ r_{\pi }(s_4)\end{array}\right]+\gamma \left[\begin{array}{cccc}{p}_{\pi }(s_1\mid s_1)& p_{\pi }(s_2\mid s_1)& p_{\pi }(s_3\mid s_1)& p_{\pi }(s_4\mid s_1)\\ p_{\pi }(s_2\mid s_1)& p_{\pi }(s_2\mid s_2)& p_{\pi }(s_3\mid s_2)& p_{\pi }(s_4\mid s_2)\\ p_{\pi }(s_1\mid s_3)& p_{\pi }(s_2\mid s_3)& p_{\pi }(s_3\mid s_3)& p_{\pi }(s_4\mid s_3)\\ p_{\pi }(s_1\mid s_4)& p_{\pi }(s_2\mid s_4)& p_{\pi }(s_3\mid s_4)& p_{\pi }(s_4\mid s_4)\end{array}\right]\left[\begin{array}{c}{v}_{\pi }(s_1)\\ v_{\pi }(s_2)\\ v_{\pi }(s_3)\\ v_{\pi }(s_4)\end{array}\right]$$

考虑下面这个例子:

于是上面策略的贝尔曼方程就可以写出

$$\left[\begin{array}{c}{v}_{\pi }(s_1)\\ v_{\pi }(s_2)\\ v_{\pi }(s_3)\\ v_{\pi }(s_4)\end{array}\right]=\left[\begin{array}{c}0\\ 1\\ 1\\ 1\end{array}\right]+\gamma \left[\begin{array}{cccc}0& 0& 1& 0\\ 0& 0& 0& 1\\ 0& 0& 0& 1\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}{v}_{\pi }(s_1)\\ v_{\pi }(s_2)\\ v_{\pi }(s_3)\\ v_{\pi }(s_4)\end{array}\right]$$

下面还有一个例子

$$\left[\begin{array}{c}{v}_{\pi }(s_1)\\ v_{\pi }(s_2)\\ v_{\pi }(s_3)\\ v_{\pi }(s_4)\end{array}\right]=\left[\begin{array}{c}0.5(0)+0.5(-1)\\ 1\\ 1\\ 1\end{array}\right]+\gamma \left[\begin{array}{cccc}0& 0.5& 0.5& 0\\ 0& 0& 0& 1\\ 0& 0& 0& 1\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}{v}_{\pi }(s_1)\\ v_{\pi }(s_2)\\ v_{\pi }(s_3)\\ v_{\pi }(s_4)\end{array}\right]$$

为什么要求解state value?

policy evaluation:强化学习中非常基础重要的问题,通过policy evaluation能够找到一个好的策略

如何接求解贝尔曼方式?

方法一:close-form solution(直接给出解析表达式)

$$v_{\pi }=(I-\gamma P_{\pi }{)}^{-1}{r}_{\pi }$$

虽然上面的解析表达式非常简洁,优美,但是在实际中我们并不会用,因为当状态空间比较大时,矩阵的维数也会比较大,求逆的计算量也会很大.

方法二:iterative solution:

$$v_{k+1}=r_{\pi }+\gamma P_{\pi }{v}_k$$

这个算法执行起来是这样的

先随机一个$v_k$,然后将$v_k$带入上面的迭代式中会得到$v_{k+1}$再将$v_{k+1}$当成$v_k$带入上式中,一直这样迭代下去直至收敛.

事实上可以证明

$$v_k\to v_{\pi }=(I-\gamma P_{\pi }{)}^{-1}{r}_{\pi },k\to \mathrm{\infty }$$

Action value

Action value和state value的区别
state value是从一个状态出发得到的average return
action value是从一个状态出发,并且采取某个action得到的average return

定义:

$$q_{\pi }(s,a)=\mathbb{E}[G_t\mid S_t=s,A_t=a]$$

• action value是依赖于策略$\pi$的

下面可以研究一下state value 和 action value 之间的数学联系

$$\mathbb{E}[G_t\mid S_t=s]=\sum _a\mathbb{E}[G_t\mid S_t=s,A_t=a]\pi (a\mid s)$$

因此

$$v_{\pi }=\sum _a\pi (a\mid s)q_{\pi }(s,a)$$

回忆前面的贝尔曼公式

$$v_{\pi }(s)=\sum _a\pi (a\mid s)[\sum _{r}p(r|s,a)r+\gamma \sum _{s^{{}^{\prime }}}p(s^{{}^{\prime }}\mid s,a)v_{\pi }(s^{{}^{\prime }})]$$

可以发现$q_{\pi }(s,a)=[\sum _{r}p(r\mid s,a)r+\gamma \sum _{s^{{}^{\prime }}}p(s^{{}^{\prime }}\mid s,a)v_{\pi }(s^{{}^{\prime }})]$

1. action value总的来说很重要,未来会去关注在某一个状态不同的action,会对不同的action进行比较.
2. 如何计算action value可以通过前面的表达式通过state value进行计算.
3. 后面会学习一些不需要依赖模型,根据数据计算action value的方法.

summary

主要内容是

1. state value : $v_{\pi }(s)=\mathbb{E}[G_t\mid S_t=s]$
2. action value: $q_{\pi }(s,a)=\mathbb{E}[G_t\mid S_t=s,A_t=a]$
3. bellman equation : $v_{\pi }(s)=\sum _a\pi (a\mid s)[\sum _{r}p(r\mid s,a)r+\gamma \sum _s^{{}^{\prime }}p(s^{{}^{\prime }}\mid s,a)v_{\pi }(s^{{}^{\prime }})]=\sum _a\pi (a\mid s)q(s,a)$
4. bellman equation matrix-vector form:$V_{\pi }=R_{\pi }+\gamma P_{\pi }{V}_{\pi }$