马氏链的长程性质和极限概率

马氏链的长程性质主要关心马氏链在一段长时间的转移后，在每个状态上停留过的时间的比例，这个比例被称为长程比例，也就是常说的平稳概率，而马氏链的极限概率指的是转移矩阵在长时间演变后的一个极限。

马氏链的长程性质

马氏链长程性质关心的是在长时间后，马氏链在每个状态上停留过的时间比例。这个时间比例可以理解为在一段长时间中，马氏链访问过每个状态的次数(访问后又再次访问)与总时间的比例，所以马氏链的长程性质主要在常返的马氏链上进行讨论。要讨论马氏链在某个常返态$j$停留的时间比例，我们可以先考虑马氏链从任意一个常返态$i$访问到$j$(第一次访问), 然后再从$j$访问到它自身(后面的$n$次访问)的时间。

从任意一个常返态$i$访问到另一个常返态$j$的概率我们还没有讨论过，注意，常返态的定义是状态从自身出发迟早会访问到自身的概率为1的状态，这个定义与这里的情况的区别在于初始状态不同，所以有必要考虑从任意一个常返态$i$访问到另一个常返态$j$的概率，事实上有

若$i$,$j$是常返的，且互通，那么 $P\{X_n=j|X_0=i\}=1$

这个命题可以这么来理解证明，考虑从$i$出发经过$M$个$n$步后访问到$j$, 当$M=1$时，因为$i,j$互通，所以$P_{i,j}^n>0$,所以$P\{M=1\}=P_{i,j}^n$；当$M=2$时，首先从$i$出发经过第一个$n$步后没有访问到$j$而是到了其他的一个状态$k$，这个概率是$1-P_{i,j}^n$,又因为$i$是常返态，所以从$k$出发一定会访问到$i$,因为$M=2$,所以此时访问到$j$, 概率是$P_{i,j}^n$,这样，$P\{M=2\}=(1-P_{i,j}^n)\times 1\times P_{i,j}^n$. 因此这个$M$实际上是以$P_{i,j}^n$为参数的几何随机变量, 因此有$E[M]=\frac{1}{P_{i,j}^n}$，这是个有限数，那么就说明从$i$出发，在有限次后访问到$j$的概率是1，而再从$j$访问到它自身的概率由常返的定义保证为1. 指的一提的是这里要求$i,j$互通，即$i,j$是一个状态类的，我们下面的描述都基于不可约的马氏链，即这个条件自动满足。

现在假设从任意一个常返态$i$访问到$j$所需要的转移次数(时间)为$T_1$, 接下来从$j$开始后第$k$次访问访问到自身所需要的转移次数(时间)为$T_k$($k=2,3,...,n$)，如图：

那么我们所希望计算的在一段长时间内，马氏链在状态$j$上停留的时间(访问的次数)的比例${\pi }_j$(这个比例称为长程比例)可以由下式计算出
${\pi }_j=\underset{n\to \mathrm{\infty }}{lim}\frac{n}{\sum _{k=1}^n{T}_k}=\underset{n\to \mathrm{\infty }\frac{1}{\frac{T_1}{n}+\frac{T_2+T_3+...+T_n}{n}}}{lim}$
由上面的讨论我们可以知道从$i$出发访问到$j$的次数是有限的，所以有$\underset{n\to \mathrm{\infty }}{lim}\frac{T_1}{n}=0$；另一方面，因为相继的两次访问到$j$的转移次数是相互不影响且对称的，所以$T_2,T_3,...,T_n$是独立同分步的，根据强大数定律

若$X_1,X_2,...,X_n$是一列两两相互独立同分布的随机变量，且$E[X_1]=\mu <\mathrm{\infty }$, 那么对于这列随机变量的前$n$项和$S_n=\sum _{i=1}^n{X}_i$ 有 $\underset{n\to \mathrm{\infty }}{lim}\frac{S_n}{n}=\mu$ 几乎处处成立

，设$E[T_k]=m_j$ , 它表示相继的两次访问到$j$的转移次数的期望，则有
${\pi }_j=\underset{n\to \mathrm{\infty }}{lim}\frac{1}{\frac{T_1}{n}+\frac{T_2+T_3+...+T_n}{n}}=\frac{1}{m_j}$
这说明马氏链在一段长时间下在状态$j$上停留的时间比例是它相继两次访问到$j$的转移次数的期望的倒数。

需要指出的是，马氏链在一段长时间下在状态$j$上停留的时间比例，可以看做在一段长时间后马氏链访问到状态$j$的概率，此概率也叫作平稳概率，即${\pi }_j$可以称为平稳概率，称它是平稳概率是因为如果以概率${\pi }_j$取$j$为初始状态，即$P\{X_0=j\}={\pi }_j$,那么在时间$n$处于状态$j$的概率也是${\pi }_j$, 即$P\{X_n=j\}={\pi }_j$, 这说明如果马氏链平稳下来，那么对于状态$j$,马氏链在平稳后任何时刻处在状态$j$上的概率为${\pi }_j$, 它可以通过以下的式子来证明
${\pi }_j=\sum _i{\pi }_i{P}_{i,j}$
有必要解释一下这个式子是怎么来的，首先${\pi }_i{P}_{i,j}$实际上是马氏链从$i$转移到$j$并在$j$上停留的时间比例，因为${\pi }_i=\underset{n\to \mathrm{\infty }}{lim}\frac{n}{\sum _{k=1}^n{T}_k}$,我们可以将它与$P_{i,j}$相乘看做它的分子$n$与$P_{ij}$相乘，因为$n$代表一段长时间下，马氏链访问到$i$的次数，每一次访问到$i$后再乘上$P_{ij}$就表示马氏链从$i$访问到$j$, 因此$n{P}_{ij}$表示一段长时间下，马氏链从$i$访问到$j$的次数, 而对$i$求和就表示考虑所有的$i$, 此时$\sum _i{\pi }_i{P}_{ij}$表示对任意$i$,马氏链从$i$访问到$j$的时间比例，即马氏链在$j$上停留的时间比例即${\pi }_j$. 这个式子对于所有的状态有以下的矩阵形式
$\pi \mathbf{P}\mathbf{=}\pi$
通过这个式子我们可以更加理解为什么上面的那个方程求出的$\pi$可以被称作平稳概率了，因为各个状态的概率在经过一轮转换后不变。此外，上面那个式子还可以作为方程来求出一个马尔科夫链的平稳概率(长程时间比例)，在此之前我们先介绍正常返和零常返的概念。

正常返，零常返

通过上面的论述，常返的不可约的马氏链有结论 ${\pi }_j=\frac{1}{m_j}$, 其中${\pi }_j$表示马氏链在状态$j$上停留的时间比例，而$m_j$表示从相继两次访问到$j$的转移次数的期望。在此基础上有

如果$m_j<\mathrm{\infty }$,即${\pi }_j>0$,那么状态$j$是正常返的；如果$m_j=\mathrm{\infty }$,即${\pi }_j=0$, 那么状态$j$是零常返的

可以比较简单地理解为，如果${\pi }_j$存在且不为0，状态$j$就是正常返的，否则状态$j$就是零常返的。正常返可以理解为在某次访问到$j$后，马氏链经过有限次转移可以在此访问到$j$, 零常返可以理解为在某次访问到$j$后，马氏链在次访问到$j$的转移次数为无穷。同样地，正常返和零常返也是状态类的性质，即如果某个状态类中某个状态是正常返的，那么其他的状态也是正常返的，对于零常返亦然。

在正常返和零常返的基础上，我们可以利用上面的关于${\pi }_j$的式子来求稳态概率, 有如下定理

对于一个不可约的正常返的马氏链，这个马氏链关于每个状态的稳态分布可以通过以下方程 唯一 确定:
${\pi }_j=\sum _i{\pi }_i{P}_{i,j}$, and $\sum _j{\pi }_j=1$
如果上述方程组无解，那么马氏链就是暂态的或者零常返的，此时稳态分布为0向量(${\pi }_j=0$)

所以对于一个给定的不可约且正常返的马氏链，可以通过其一步概率转移矩阵来求得其各个状态的平稳概率。另外，还有定理

如果$\{X_n,n\ge 1\}$是有平稳概率${\pi }_j$的不可约的马氏链，而$r$是状态空间上的一个有界函数, 那么，以概率1有
$\underset{N\to \mathrm{\infty }}{lim}\frac{\sum _{n=1}^{N}r(X_n)}{N}=\sum _{j=0}^{\mathrm{\infty }}r(j){\pi }_j$

这个定理可以这样来证明，首先只看$\sum _{n=1}^{N}r(X_n)$ 他表示从$1$到$N$这段时间中，每个时间点马氏链的状态的函数值之和，这是按照时间点来看的，我们可以从状态空间的角度来看，即将这段时间中每个时间点马氏链的状态按照状态来进行"合并同类项"(因为不同时间点马氏链的状态可能是相同的)，如果令$a_j(N)$来表示从1到N这段时间中，马氏链处于状态$j$上面的次数(也就是在状态$j$上停留的时间)，那么可以得到$\sum _{n=1}^{N}r(X_n)=\sum _j{a}_j(N)r(j)$, 然后再两边除以$N$, 注意到$a_j(N)/N$表示的是马氏链在状态$j$上停留的时间比例，即为${\pi }_j$，因此最后将$N$推向无穷就可以得到上述的定理

这个定理告诉我们，对于不可约的有平稳概率的马氏链，单位时间的状态值的函数值等于$\sum _{j=0}^{\mathrm{\infty }}r(j){\pi }_j$，也就是说这种定理颇有一种 时间平均=状态空间平均 的思想，有点类似于统计力学中的 系综平均=时间平均

极限概率

在上面讨论马氏链的长程性质时，我们得到了马氏链的长程比例，即稳态概率，而马尔科夫链的极限概率指的是，在长时间后，每个状态转移到其他状态的概率不再变化，放大到整个概率转移矩阵$P$上面来就是$P^n(n\to \mathrm{\infty })$不再变化。这里有必要说一下稳态概率和极限概率的区别

1. 稳态概率和极限概率的计算方式不同
2. 稳态概率描述马氏链在某个状态上停留的时间，而极限概率描述某个状态转移到其他状态的概率不再变化

稳态概率和极限概率相互区别，但是在某些条件下，极限概率和稳态概率相等：当马氏链是非周期且不可约的，可以通过证明极限概率满足稳态概率的方程来证明此时极限概率等于稳态概率。

马氏链的周期性建立在 马氏链 是正常返的基础上
周期的马氏链：马氏链只能以d(d>1)的倍数重复访问某个状态，其中d的定义为 $d=gcd\{n>0:P_{i,j}^n>0\}$, 即d是从$i$出发访问到$j$的所有可能步数的最大公约数。
非周期的马氏链：存在某个状态的d = 1的马氏链是非周期的(即如果出现某个状态访问到另一个状态的两种所需次数是互质的，那么此链就是非周期的)
马氏链的周期性也是状态类的性质，这说明对于一个不可约的马氏链来说，如果有一个状态是周期的，那么其他所有状态都是周期的，对于非周期性亦然。