强化学习的数学原理-05蒙特卡洛方法

目录

• MC Basic
• MC Exploring Starts
• MC Epsilon-Greedy

MC Basic

从$modelbase$的$Reinforcementlearning$过渡到$modelfree$的$Reinforcementlearning$最难以理解的是怎么在没有模型的情况下去估计一些量。

这里面就有一个重要的$ideaMonteCarloestimation$

下面有一个抛硬币的例子:

用一个随机变量$(randomvariable)X$来表示硬币的结果

如果正面朝上,$X=+1$

如果反面朝上,$X=-1$

我们的目标是计算$\mathbb{E}\left[X\right]$

这里有两种方法去计算$\mathbb{E}\left[X\right]$

一种方法是:$Model-bases$

假设随机变量模型已知：

$$p(X=1)=0.5,p(X=-1)=0.5$$

根据数学期望的定义，就可以计算出随机变量$X$的期望$\mathbb{E}\left[X\right]=\sum _{x}xp(x)=1\times 0.5+(-1)\times 0.5=0$

这样期望计算起来就很简单了，但是问题是我们无法做到精确地知道这样的模型

另一种方法$Model-free$

idea：投掷硬币多次，然后计算结果的平均值

我们多次投掷硬币得到一系列结果$\{x_1,x_2,...,x_N\}$

然后期望可以用上面的采样去估计

$$\mathbb{E}[X]\approx \overline{x}=\frac{1}{N}\sum _{j=1}^N{x}_j$$

第二种方法就是$MonteCarloestimation$的基本思想

这里是近似就会存在一个问题，这样去近似得到的结果是否是精确的？

答案是：当$N$比较小的时候是不精确的，但当$N$足够大得到的结果就比较精确

经过上面的前置知识，接下来就是蒙特卡洛算法了。

$Policyiteration$有两步在每个$iteration$

$$\{\begin{array}{l}policyevaluation：v_{{\pi }_k}=r_{{\pi }_k}+\gamma P_{{\pi }_k}{v}_{{\pi }_k}\\ policyimprovement：{\pi }_{k+1}=\arg max(r_{\pi }+\gamma P_{{\pi }_k}{v}_{{\pi }_k})\end{array}$$

所以关键是计算$q_{{\pi }_k}(s,a)$

要计算$q_{{\pi }_k}(s,a)$实际上由两种方法;

第一种就是$valueiteration$所用的$requiremodel$的

$$q_{{\pi }_k}(s,a)=\sum _{r}p(r|s,a)r+\gamma \sum _{s^{{}^{\prime }}}p(s^{{}^{\prime }}|s,a)v_{{\pi }_k}(s^{{}^{\prime }})$$

第二种是从$q_{{\pi }_k}(s,a)$的定义出发：

$$q_{{\pi }_k}(s,a)=\mathbb{E}[G_t|S_t=s,A_t=a]$$

然后这就是一个$meanestimation$的问题,我们可以用$montecarloestimation$的方法依赖于数据$data(samples\mathrm{或}\mathrm{者}experiences)$

下面详细看一下是如何做到的

• 首先从任意一个$(s,a)$出发,然后根据当前的策略${\pi }_k$生成一个$episode$
• 然后计算出这个$episode$的$return$用$g(s,a)$表示
• $g(s,a)$是$G_t$的一个采样$Sample$ $q_{{\pi }_k}(s,a)=\mathbb{E}[G_t\mid S_t=s,A_t=a]$
• 假设我们有一个$episodes$的集合$g^{(j)}(s,a)$,那么我们就可以用这个集合去求一个平均值去估计这个$G_t$的期望$q_{{\pi }_k}(s,a)=\mathbb{E}[G_t\mid S_t=s,A_t=a]\approx \frac{1}{N}\sum _{i=1}^N{g}^{(}i)(s,a)$

总结：当模型未知的时候，我们就需要知道数据.没有数据的时候，需要有模型，反正两者需要其中的一个

数据在统计或者概率里面叫$sample$，在强化学习中叫$experience$

然后这个算法就比较清楚了

$MCBasicalgorithm$

首先给定一个初始的策略$（policy）{\pi }_0$,这里有两步在第$k$次迭代中

第一步是：$Policyevaluation$

这一步就是对所有的$(s,a)$求得$q_{{\pi }_k}(s,a)$,更具体来讲就是对于每一个$(s,a)$的$pair$去采样尽可能多$(infinite)$个$episodes$,平均的$return$就用来估计$q_{{\pi }_k}(s,a)$

第二步是：$Policyimprovement$

这一步就是去解决${\pi }_{k+1}(s)=\arg \underset{\pi }{max}\sum _a\pi (a|s)q_{{\pi }_k}(s,a),foralls\in S$贪心的最优策略就是${\pi }_{k+1}(a_k^{\ast }\mid s)=1,where\arg \underset{a}{max}{q}_{{\pi }_k}(s,a)$

实际上$MCbasic$算法和$Policyiteration$是一样的,唯一的区别就是在第一步$Policyevaluation(PE)$的时候,$Policyiteration$第一步先求解$statevalue$然后再根据$statevalue$去求解$actionvalue$,而$MCBasic$算法是直接根据数据$(data)$得到$q_{{\pi }_k}$

总结：

1. $MCBasic$是$policyiteration$的一个变型,把$PE$部分基于$model$计算的部分去掉，换成不需要$model$
2. 所以要学习基于蒙特卡洛的强化学习算法首先要学习基于$policyiteration$的强化学习算法
3. $MCBasic$这个算法是很重要的，他清楚地揭示了怎么把$modelbase$的算法变为$modelfree$但是$MCBasic$这种算法并不适用，因为$MCBasic$的效率$(efficiency)$低

例子：

第一步：$PE$计算$q_{{\pi }_k}(s,a)$,对于上面的例子一共有9个状态$(state)$，5个$action$，所以一共有$9\times 5$个$state-actionpairs$,对于每个$state-actionpairs$都需要进行$N$次采样

第二步：$PL$:贪心地选择$action{a}^{\ast }(s)=\arg \underset{a_i}{max}{q}_{{\pi }_k}(s,a)$

MC Exploring Starts

是$MCBasic$算法的推广，可以让$MCBasic$算法变得更加高效

下面是$MCExploringStarts$如何做使得$MCBasic$更高效的

考虑一个网格世界,按照一个策略$\pi$,我们可以得到一个$episode$

$$s_1\stackrel{a_2}{\to }{s}_2\stackrel{a_4}{\to }{s}_1\stackrel{a_2}{\to }{s}_2\stackrel{a_3}{\to }{s}_5\stackrel{a_1}{\to }...$$

首先引入一个$visit$的定义：在一个$episode$中每个上面的一个$state-actionpair$被称为对这个$state-actionpair$有了一次访问$visitofthatstate-actionpair$

在$MCBasic$算法中采用的是$Initial-visitmethod$：对于上面的$episode$，只考虑$(s_1,a_2)$，用剩下的得到的$return$来估计$(s_1,a_2)$的$actionvalue$，这样做实际上是没有充分利用这个$episode$d的

事实上还是有两种方法

1. $first-visitmethod$：只在第一次$visit$的时候估计$action-value$
2. $every-visitmethod$：在每一次$visit$的时候都估计$action-value$

除了让数据的使用更加$effient$外还可以让策略的更新更加高效.

$MC-Basic$是等待所有的$episode$都被计算出之后才做一个$averagereturn$估计$actionvalue$进行更新$policy$，而等待的过程就会浪费很多时间.

而还有一种方法就是在计算出一个$episode\mathrm{的}return$时就立刻用这个$episode$的$return$来估计$actionvalue$然后就直接去改进策略

这里会有一个问题就是用一个$episode$去估计$actionvalue$是不准的,但是根据之前的$truncatedpolicyiterationalgorithm$告诉我们这样做虽然不是很精确但依然可行。

解释$exploringstarts$

$exploring$：是指从每一个$(s,a)$出发都要有$episode$,如果恰恰有一个$action$没有被$visit$到，而那个$action$恰恰又是最优的,为了能得到最优的策略，我们还是要确保每一个$(s,a)$都能被访问到

$starts$：是指从一个$(s,a)$生成$reward$有两种方法，一种是从$(s,a)$开始一个$eposide$就是$start$，另一种是从其他的$(s^{{}^{\prime }},a^{{}^{\prime }})$开始也能经过$(s,a)$用后面的数据也可以估计当前$(s,a)$的$return$,但是第二种$visit$是没办法确保的，因为它依赖于策略和环境,没办法保证从一个$(s,a)$开始经过其他所有剩下的$(s,a)$

MC Epsilon-Greedy

$MCwithoutexploringstarts$

$softpolicy$是对每一个$action$都有可能做选择

policy分为两种，一种是$determinstic$的，$greadypolicy$就是其中之一，还有一种是$stochasticpolicy$ 如$softpolicy$以及下面的$ϵ-gready$

引入$softpolicy$的原因是如果从一个$(s,a)$出发，如果$episode$特别长,就能确保任何一个$(s,a)$都能被$visit$到于是就可以去掉$exploringstarts$这个条件了,不需要从每一个$(s,a)start$

然后$softpolicy$里面要用的就是其中的$ϵ-gready$

$$\pi (a\mid s)=\{\begin{array}{l}1-\frac{ϵ}{\mid \mathcal{A}(s)\mid }(\mid \mathcal{A}(s)\mid -1),forthegreadyaction\\ \frac{ϵ}{\mid \mathcal{A}(s)\mid },fortheother\mid \mathcal{A}(s)\mid -1actions\end{array}$$

$whereϵ\in [0,1]and|\mathcal{A}(s)|$是 状态$s$对应的$action$的数量

虽然给其他$action$了一些选择概率，但是还是把大概率留给了$greadyaction$

为什么使用$ϵ-gready?$

平衡了$exploitation$(剥削充分利用)和$exploration$(探索)

实际中，我们可以让$ϵ$逐渐减小，在开始时比较大，具有较好的探索能力，随着时间推移，逐渐减小，最后接近最优策略.