应用随机过程03：马尔可夫链的状态
第三讲 马尔可夫链的状态
一、常返和暂留
Part 1：常返和暂留的定义
在马尔可夫链运行和转移的过程中，各个状态所起的作用不完全相同，因此我们要讨论几类特殊状态的特点，并给出状态空间的分解定理。设 \(\{X_n\}\) 是一个时齐马尔可夫链，这是我们这一节的研究对象。此外这一节的概念比较多，需要注意区分。
首中时：给定状态 \(j\in I\) ，定义 \(\tau_j=\inf\{n\geq1:X_n=j\}\) ，称为 \(j\) 的首中时。约定 \(\inf\varnothing=\infty\) ，即如果不存在 \(n\geq1\) 使得 \(X_n=j\) ，则定义 \(\tau_j=\infty\) 。
首中时的含义是在零时刻从状态 \(i\) 出发的马尔可夫链首次到达状态 \(j\) 的时刻。
- 当 \(X_0=i=j\) 时，\(\tau_j\) 表示马尔可夫链首次回到状态 \(j\) 的时刻；
- 当 \(X_0=i\neq j\) 时，\(\tau_j\) 表示马尔可夫链首次到达状态 \(j\) 的时刻。
利用首中时的概念，我们可以将马尔可夫链的状态分为常返态和暂留态。
- 如果 \(P(\tau_j<\infty|X_0=j)=1\) ，则称 \(j\) 是常返态。常返态的含义是从某一状态出发以概率 \(1\) 在有限时间内返回该状态。
- 如果 \(P(\tau_j<\infty|X_0=j)<1\) ，则称 \(j\) 是暂留态。暂留态的含义是从某一状态出发以一个正的概率不再返回该状态。
平均回转时：若状态 \(j\) 是常返态，定义 \(\mu_j={\rm E}(\tau_j|X_0=j)\) ，称为 \(j\) 的平均回转时。
利用平均回转时的概念，我们可以将常返态进一步分为正常返态和零常返态。
- 如果 \(\mu_j={\rm E}(\tau_j|X_0=j)<\infty\) ，则称 \(j\) 是正常返态。
- 如果 \(\mu_j={\rm E}(\tau_j|X_0=j)=\infty\) ，则称 \(j\) 是零常返态。
上述定义说明的是，在平均的意义下，正常返态的返回速度快于零常返态的返回速度。
简单回顾一下，这一部分我们介绍了两个概念——首中时和平均回转时。根据首中时我们将马尔可夫链的状态分为常返态和暂留态，根据平均回转时我们又将常返态分为了正常返态和零常返态。
Part 2：常返的判别条件 I
在上一节的学习中，我们知道马尔可夫链的性质常常用转移概率来刻画。在定义了常返态和暂留态之后，我们也希望能用一个概率来刻画常返态和暂留态的性质。
首先我们定义 \(n\) 步首次击中概率和 \(n\) 步首次返回概率。
- 令 \(f_{ij}^{(n)}\) 表示从状态 \(i\) 出发经过 \(n\) 步之后首次击中状态 \(j\) 的概率，则有
- 令 \(f_{jj}^{(n)}\) 表示从状态 \(j\) 出发经过 \(n\) 步之后首次返回状态 \(j\) 的概率，则有
接着我们定义可达概率和可返回概率。
- 令 \(f_{ij}\) 表示从状态 \(i\) 出发在有限步能击中状态 \(j\) 的概率，则有
- 令 \(f_{jj}\) 表示从状态 \(j\) 出发在有限步能返回状态 \(j\) 的概率，则有
根据以上定义，我们可以得到常返态的第一个判别条件：
- 状态 \(j\) 是常返态，当且仅当 \(f_{jj}=1\) 。
- 状态 \(j\) 是暂留态，当且仅当 \(f_{jj}<1\) 。
若状态 \(j\) 是常返态，我们可以通过 \(n\) 步首次返回概率计算平均回转时，从而对正常返态和零常返态进行判别。利用离散型随机变量的数学期望的定义即可得到
概括以上判别方法的主要思路：对于状态 \(j\) 的每一步 \(n\) 求出 \(f_{jj}^{(n)}\) ，根据 \(f_{jj}=\displaystyle\sum_{n=1}^\infty f_{jj}^{(n)}\) 和 \(\mu_j=\displaystyle\sum_{n=1}^\infty nf_{jj}^{(n)}\) 计算可返回概率和平均回转时，从而判断状态 \(j\) 的常返性。
在实际应用时，我们一般计算 \(f_{jj}^{(n)}\) 的方法是画出状态转移图，利用图论的知识和一步转移概率进行计算。显然，这种方法适用于状态转移过程简单的马尔可夫链，对于复杂的马尔可夫链并不适用。
Part 3：常返的判别条件 II
回到时齐的马尔可夫链本身，我们往往已知的是一步转移概率矩阵 \(P\) ，从而很容易得到 \(n\) 步转移概率矩阵 \(P^n\) 。下面我们就从转移概率的角度来给出常返态的判别条件。
首先讨论一下常返态的特性：假设状态 \(j\) 是常返态，并且过程开始时处于 \(j\) ，则过程将以概率 \(1\) 返回 \(j\) 。由马尔可夫链的定义知，当它再次进入 \(j\) 时，上述过程将被重复，从而状态 \(j\) 将以概率 \(1\) 再次被访问。继续重复可得如下结论：如果状态 \(j\) 是常返态，那么开始处于状态 \(j\) 的过程将以概率 \(1\) 无穷多次地返回状态 \(j\) 。
定义 \(N_j=\sharp\{n\geq0:X_n=j\}\) ，表示马尔可夫链访问 \(j\) 的次数。我们可以得到常返态的第二个判别条件：
- 状态 \(j\) 是常返态，当且仅当 \(P(N_j=\infty|X_0=j)=1\) ，当且仅当 \(\displaystyle\sum_{n=1}^\infty p_{jj}^{(n)}=\infty\) 。
- 状态 \(j\) 是暂留态，当且仅当 \(P(N_j<\infty|X_0=j)=1\) ，当且仅当 \(\displaystyle\sum_{n=1}^\infty p_{jj}^{(n)}<\infty\) 。
这里我们需要给出第二个等价条件的证明。根据数学期望的定义，显然有如下结论成立：
- 若 \(P(N_j=\infty|X_0=j)=1\) ，则 \({\rm E}\left(N_j|X_0=j\right)=\infty\) ；
- 若 \(P(N_j<\infty|X_0=j)=1\) ，则 \({\rm E}\left(N_j|X_0=j\right)<\infty\) 。
令 \(I_n=\left\{\begin{array}{ll}1\ , & X_n=j \ , \\ 0 \ , & X_n\neq j \ .\end{array}\right.\) ，则 \(N_j=\displaystyle\sum_{n=0}^\infty I_n\) 表示马尔可夫链处于状态 \(j\) 的次数。于是
\[{\rm E}\left(N_j|X_0=j\right)=\sum_{n=0}^\infty{\rm E}\left(I_n|X_0=j\right)=\sum_{n=0}^\infty P\left(X_n=j|X_0=j\right)=\sum_{n=0}^\infty p_{jj}^{(n)} \ . \]如此我们就证明了第二个等价条件成立。
我们再讨论一下暂留态的特性：假设状态 \(i\) 是暂留态，则有可返回概率 \(f_{jj}<1\) 。因此过程每次访问 \(i\) 都将以一个正的概率 \(1-f_{ii}\) 不再进入这个状态。所以，开始处于状态 \(i\) 的过程将恰好在状态 \(i\) 访问 \(n\) 次的概率等于 \(f_{ii}^{n-1}\left(1-f_{ii}\right)\) 。
换句话说，如果状态 \(i\) 是暂留态，那么开始处于状态 \(i\) 的过程再次访问 \(i\) 的次数服从参数为 \(1-f_{ii}\) 的几何分布。利用几何分布的数学期望，也可以得到
推论：一个暂留态只能被访问有限次，从而一个有限状态的马尔可夫链中至少有一个状态是常返态。推论可以用反证法进行证明，假设所有状态都是暂留态，进而推出在有限时间后无状态可访问即可。
二、状态之间的关系
Part 1：互达
关于常返和暂留的特点，以上我们都是对单个状态进行讨论的，下面我们考虑能否通过状态之间的关系来判断一个状态的常返性。
首先介绍一下可达和互达的概念。设 \(i\) 和 \(j\) 是状态空间 \(I\) 中的任意两个状态：
- 如果存在 \(n\geq1\) 使得 \(p_{ij}^{(n)}>0\) ，则称状态 \(i\) 可达状态 \(j\) ，记为 \(i\to j\) 。
- 如果 \(i\to j\) 且 \(j\to i\) ，则称状态 \(i\) 和状态 \(j\) 互达，记为 \(i\leftrightarrow j\) 。
可以证明互达关系是一种等价关系，满足以下三个性质：
- 自反性：\(i\leftrightarrow j\) ；
- 对称性：如果 \(i\leftrightarrow j\) ，则 \(j\leftrightarrow i\) ；
- 传递性：如果 \(i\leftrightarrow j,\,j\leftrightarrow k\) ，则 \(i\leftrightarrow k\) 。
我们将两个互达的状态，称为属于同一个互达等价类中。于是，按照互达关系，状态空间 \(I\) 可以表示成可列个互不相交的互达等价类的并。如果状态空间 \(I\) 中的任意两个状态都是互达的，则称该马尔可夫链是不可约的。
闭集：设 \(C\subset I\) 是一个互达等价类，如果从 \(C\) 中的任何状态出发，都无法到达 \(I\setminus C\) 中的状态，则称 \(C\) 为闭集。换句话说，如果 \(C\) 是闭集，则对任意 \(i\in C\) 和 \(j\notin C\) ，都有 \(i\not\to j\) 。一般规定空集 \(\varnothing\) 和状态空间 \(I\) 是闭集。
吸收态：如果闭集 \(C\subset I\) 只有一个状态 \(i\) ，即 \(C=\{i\}\) ，则称状态 \(i\) 为吸收态。吸收态的含义是一旦处于该状态，它将永远不会离开。
我们可以举个例子来理解，设马尔可夫链的状态空间 \(I=\{1,2,3,4,5,6\}\) ，转移概率矩阵为
\[P=\left[ \begin{array}{cccccc} \frac12 & \frac12 & 0 & 0 & 0 & 0 \\ \frac14 & \frac34 & 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & \frac13 & 0 & \frac13 & \frac13 \\ 0 & 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 0 & 0 & 1 \end{array} \right] \ , \]则该状态空间可以分为三个互达等价类：\(C_1=\{1,2\},\,C_2=\{3,4,5\},\,C_3=\{6\}\) 。其中 \(C_1\) 和 \(C_3\) 是闭集，因为从 \(C_1\) 或 \(C_3\) 出发不可能到达其他互达等价类。而 \(C_2\) 不是闭集，因为从 \(C_2\) 出发可以到达 \(C_3\) 。此外 \(C_3\) 是吸收态，因为 \(C_3\) 是闭集且只有一个状态。
Part 2：周期
设 \(i\) 是状态空间 \(I\) 中的任意一个状态，定义状态 \(i\) 的周期为
其中 \(\gcd\) 表示集合中各元素的最大公因子。因此，周期的含义是可达步数的最大公因子，即从 \(i\) 出发只有经过 \(d(i)\) 的整数倍步数后，才有可能以正概率返回 \(i\) 。
如果 \(d(i)=1\) ，则称状态 \(i\) 是非周期的。如果对所有的状态 \(i\in I\) 都是非周期的，则称此马尔可夫链是非周期的。
如果状态 \(i\) 是正常返且非周期的，则称状态 \(i\) 是遍历状态。不可约非周期正常返的马尔可夫链称为遍历的马尔可夫链。
定理：如果 \(i\leftrightarrow j\) ，则
- \(i\) 和 \(j\) 具有相同的周期，即 \(d(i)=d(j)\) ；
- \(i\) 是暂留态当且仅当 \(j\) 是暂留态；
- \(i\) 是常返态当且仅当 \(j\) 是常返态；
- \(i\) 是正常返态当且仅当 \(j\) 是正常返态。
该定理说明在同一个互达等价类中，各状态具有相同的周期和常返性。因此在判断一个状态的性质时，我们可以从它的互达等价类中找到一个容易判断的状态来进行判断。
