马氏链状态的分类(常返态和暂态)

可达和互通

如果$P_{ij}^n>0$，则说状态$i$可达状态$j$; 并且如果$P_{ji}^m>0$则说状态$i,j$是互通的，记为$i\leftrightarrow j$

状态类

根据互通的概念，将互通的两个状态划分到一个状态类中，并且根据互通的传递性可以知道，不同的状态类要么相等，要么不相交。这么一来就可以利用互通传递性将马氏链的状态空间划分为若干个分离的状态类。

不可约马氏链

如果只有一个状态类，说明马氏链的状态空间中各个状态都是互通的，这种马氏链称为不可约马氏链。

吸收态

如果某个状态只能转移到自身，并且存在转移到它的其他状态，那么这个状态就称为吸收态，即$P_{i,i}=1$

暂态

如果马氏链从状态$i$开始，它迟早回到状态$i$的概率为$p(p<1)$, 那么就说状态$i$是暂态，暂态只能被访问有限次。

引入时间周期的概念，它表示对于暂态$i$来说，从它出发，下一次再次进入暂态$i$所经过的时间步数，如时间周期为2表示从暂态$i$出发，经过两个时间步之后再次访问到暂态$i$。现在考虑对于暂态$i$来说，从它出发的过程恰好在暂态$i$停留$n$个时间周期的概率，这个概率可以写为$p^{n-1}(1-p)$(具体论证见下)，也就是说在暂态停留的时间周期的个数服从$(1-p)$的几何分布，这个停留时间周期个数的期望是$\frac{1}{1-p}$

先考虑$n=1$的概率，它表示从暂态$i$出发的过程恰好在暂态$i$停留1个时间周期的概率，但是这里并没有指明停留的这1个时间周期是多少，实际上从暂态$i$出发可以看做在暂态$i$上停留了一个时间步，所以这里已经满足了恰好停留了1个时间周期(这个时间周期是1)，所以$P(n=1)=1-p$，这里$(1-p)$保证下一次转移出去来刻画 $\mathrm{恰}\mathrm{好}$ 这个词，取这个值是因为它不能再转移到自己，否则就不止1个时间周期了；接着再考虑$n=2$的概率，它表示从暂态$i$出发的过程恰好在暂态$i$停留了2个时间周期，一个时间周期应该是从暂态$i$出发然后又回到暂态$i$(概率为$p$)，接着回到暂态$i$后就可以看做$n=1$的情况，即停留了1个长为1的时间周期，在此之后必须要转移出去, 所以整个概率是$P(n=2)=p(1-p)$，当$n=3$时，表示从暂态$i$出发的过程恰好在暂态$i$停留了3个时间周期，前两次停留的概率是$p^2$,然后再转移出去即$P(n=3)=p^2(1-p)$，以此类推，可以归纳得到停留$n$个时间周期的概率。

常返态

如果马氏链从状态$i$开始，它迟早回到状态$i$的概率为1，就说状态$i$是常返的。对于常返态$i$来说，从它开始的过程将无穷多次访问到$i$。吸收态是特别的常返态

另一方面，如果考虑在暂态停留的时间周期的个数的话，根据前面分析的暂态停留的时间周期个数的期望是$\frac{1}{1-p}$, 其中$p$是从暂态$i$开始再到暂态$i$的概率，这里将$p$代为1，就变成了在常返态$i$停留的时间周期个数的期望是$\frac{1}{0}$,就是说在常返态停留的时间周期的个数的期望是无穷的。

根据上面的讨论，可以给出判断某个态是常返态还是暂态的规则
如果$\sum _{n=0}^{\mathrm{\infty }}{P}_{ii}^n=\mathrm{\infty }$, 那么状态$i$是常返态；
如果$\sum _{n=0}^{\mathrm{\infty }}{P}_{ii}^n=\mathrm{有}\mathrm{限}\mathrm{数}<\mathrm{\infty }$，那么状态$i$是暂态

一些推论

$\mathrm{推}\mathrm{论}1$

$\mathbf{\text{有限状态的马尔科夫链中至少有一个状态是常返态}}$

因为如果所有状态全部是暂态，而每个暂态只能被访问有限次，所以存在一个时间上限$T$,使得在$T$之后，所有状态都不能被访问到，这与马氏链的定义相悖。

$\mathrm{推}\mathrm{论}2$

$\mathbf{\text{一个状态类中的的状态要么都是常返态，要么都是暂态}}$

首先一个状态类中的状态都是互通的，所以对于常返态来说，只需要证明对于某个常返态$i$，与他互通的状态$j$也是常返的即可。即我们需要求证$\sum _{n=0}^{\mathrm{\infty }}{P}_{jj}^n=\mathrm{\infty }$, 因为$P_{jj}^n=\sum _r{P}_{jr}^{k_1}{P}_{rr}^{k_2}{P}_{rj}^{k_3}{k}_1+k_2+k_3=n$, 那么有$P_{jj}^{k_1+k_2+k_3}\ge P_{ji}^{k_1}{P}_{ii}^{k_2}{P}_{ij}^{k_3}$ 两边对$k_2$求和就有
$\sum _{k_2=1}^{\mathrm{\infty }}{P}_{jj}^{k_1+k_2+k_3}\ge P_{ji}^{k_1}{P}_{ij}^{k_3}\sum _{k_2=1}^{\mathrm{\infty }}{P}_{ii}^{k_2}=\mathrm{\infty }$
所以状态$j$也是常返的；而对于一个暂态$i$, 如果与它互通的是常返态，那么根据这个推论2，这个暂态$i$就应该是常返的。综上，一个状态类中的状态要么都是常返态，要么都是暂态。

这个推论也表明了，常返态和暂态不仅仅是状态的属性，也是状态类的属性。

推论3

$\mathbf{\text{有限不可约马尔科夫链的状态都是常返的}}$

这个推论是推论1,2的结合，根据推论1，有限的马氏链至少有一个态是常返的，又因为不可约马氏链只有一个状态类，所以这一个状态类中至少有一个是常返的，再根据推论2可得这个状态类中的所有状态都是常返态。

在给定状态转移矩阵让确定哪些是状态是常返态，哪些状态是暂态时，首先画出状态转移图，确定不同的状态类，确定的标准就是状态之间的互通性；然后考察每个状态类中的某个状态是否是常返态或者暂态，考察的方法就是看这个状态能不能被无限次访问到。