应用随机过程04：马尔可夫链的平稳分布

目录

• 第四讲 马尔可夫链的平稳分布
  • 一、平稳分布
    • Part 1：平稳分布
    • Part 2：不可约马尔可夫链的性质
    • Part 3：极限分布
  • 二、状态空间的分解
    • Part 1：状态空间的分解
    • Part 2：有限状态空间的分解
    • Part 3：吸收概率和平均吸收时间

第四讲 马尔可夫链的平稳分布

一、平稳分布

Part 1：平稳分布

严平稳过程：设 \(\{X_n:n\geq0\}\) 是一个随机过程，如果对任意 \(n\geq0\) 和 \(m\geq1\) ，有

\[\left(X_m,X_{m+1},\cdots,X_{m+n}\right)\xlongequal{d}\left(X_0,X_{1},\cdots,X_{n}\right) \ , \]

则称 \(\{X_n:n\geq0\}\) 是严平稳过程。即随机过程的任意有限维分布不依赖于时间。

设 \(\{X_n\}\) 是时齐的马尔可夫链，如果 \(\{X_n\}\) 是严平稳过程，则称 \(\{X_n\}\) 具有平稳分布。这里我们只需考虑初始分布和一步之后的分布相同的情况，因为由此可以推出任意步之后的分布都和初始分布相同。

设初始分布为 \(\pi=(\pi_1,\pi_2,\cdots,\pi_N)\) ，一步转移矩阵为 \(P=(p_{ij})_{N\times N}\) ，则一步之后的分布为 \(\pi P\) 。因此 \(\{X_n\}\) 具有平稳分布当且仅当 \(\pi=\pi P\) ，此时我们称 \(\pi\) 为 \(\{X_n\}\) 的平稳分布。

设 \(\{X_n\}\) 具有平稳分布，如果我们想要求出平稳分布，需要求解下列具有约束条件的线性方程组：

\[\left\{\begin{array}{l} \displaystyle\sum_{i=1}^N\pi_ip_{ij=\pi_j} \ , \quad j=1,2,\cdots,N \ , \\ \displaystyle\sum_{i=1}^N\pi_i=1 \ , \\ \pi_i\geq0 \ , \quad i=1,2,\cdots,N \ . \end{array} \right. \]

注意，马尔可夫链的平稳分布不一定是唯一的，与上述方程组的解的情况有关。

Part 2：不可约马尔可夫链的性质

这里我们就列出几个定理而不给出证明了。

定理：不可约马尔可夫链的性质

1. 如果 \(\{X_n\}\) 不可约非周期，则 \(\{X_n\}\) 存在平稳分布当且仅当 \(\{X_n\}\) 正常返，此时平稳分布 \(\pi\) 唯一且 \(\pi_i=\dfrac1{\mu_i}\) 。
2. 如果非周期不可约正常返，即 \(\{X_n\}\) 遍历，则对任何 \(i,j\in I\) ，都有 \(\displaystyle\lim_{n\to\infty}p_{ij}^{(n)}=\pi_j\) 。
3. 如果状态空间 \(I\) 有限，则 \(\{X_n\}\) 一定正常返。

定理：常返和暂留的其他性质

1. 如果状态空间 \(I\) 有限，则状态 \(i\) 常返当且仅当 \(i\) 的互达等价类是闭集，并且此时 \(i\) 是正常返。
2. 如果 \(j\) 暂留或零常返，则对任意 \(i\) 都有 \(\displaystyle\lim_{n\to\infty}p_{ij}^{(n)}=0\) 。

推论：正常返和零常返的等价描述

1. 状态 \(i\) 正常返当且仅当 \(\displaystyle\lim_{n\to\infty}\frac1n\sum_{k=1}^np_{ii}^{(k)}=\frac1{\mu_j}>0\) 。
2. 状态 \(i\) 零常返当且仅当 \(\displaystyle\sum_{n=1}^\infty p_{ii}^{(n)}=\frac1{\mu_j}>0\) 。

Part 3：极限分布

对于时齐的马尔可夫链 \(\{X_n\}\) ，如果存在状态空间 \(I\) 上的概率分布 \(\mu=(\mu_i:i\in I)\) ，使得对所有状态 \(i\in I\) 都有概率分布 \(\displaystyle\lim_{n\to\infty}P(X_n=i)=\mu_i\) ，则称 \(\mu\) 是 \(\{X_n\}\) 的极限分布。

需要注意两点：

1. 极限分布可以不存在。
2. 极限分布可以依赖于初始分布。

对于时齐的马尔可夫链 \(\{X_n\}\) ，在已知初始分布 \(\mu^{(0)}\) 和转移概率矩阵 \(P\) 的情况下，想要计算该马尔可夫链的极限分布，只需要计算 \(\displaystyle\lim_{n\to\infty}P^{(n)}=\lim_{n\to\infty}P^{n}\) ，从而有

\[\mu=\mu^{(0)}\cdot\lim_{n\to\infty} P^{n} \ . \]

根据线性代数的知识，我们可以通过计算矩阵特征值的方法得到 \(\displaystyle\lim_{n\to\infty}P^{n}\) 的结果但在这里我们不做要求。思考一个问题：极限分布和平稳分布之间是否存在什么样的关系？

一般情况下，极限分布与平稳分布之间没有必然联系，但在一些特殊条件的约束下，我们常常有极限分布与平稳分布是相同的。此时我们就可以通过求解平稳分布的方法，计算出极限分布。

定理：若 \(\{X_n\}\) 是不可约非周期的马尔可夫链，转移概率矩阵为 \(P\) ，则该马尔可夫链存在极限分布当且仅当存在平稳分布，并且两者相等。

二、状态空间的分解

Part 1：状态空间的分解

这里我们需要了解两个定理。

定理：如果 \(i\in I\) 常返，则 \(i\) 的互达等价类 \(C_i=\{j\in I:i\leftrightarrow j\}\) 是闭集。

采用反证法。假设 \(C_i\) 不是闭集，则存在 \(j\in C_i\) 和 \(k\notin C_i\) 使得 \(j\to k\) 。注意到 \(k\not\to j\) ，否则 \(k\leftrightarrow j\) 进而 \(k\in C_i\) 。这样有 \(i\to j,\,j\to k\) 但 \(k\not\to i\) ，即从 \(i\) 出发的过程，存在一个正的概率进入状态 \(k\) 之后不再返回状态 \(i\) ，所以 \(i\) 不是常返态，矛盾。

定理：状态空间的分解定理：

\[I=C_1\cup C_2\cup\cdots\cup C_k\cup T \ , \]

其中 \(C_i\) 表示常返状态互达等价类，\(T\) 表示所有暂留态的全体。由第一个定理可知，不同常返状态互达等价类是互不相交的闭集。这里 \(k\) 可以取 \(+\infty\) 。

Part 2：有限状态空间的分解

利用不可约马尔可夫链的性质，我们再看马尔可夫链状态空间的分解定理，

\[I=C_1\cup C_2\cup\cdots\cup C_k\cup T \ , \]

这次我们限制状态空间 \(I\) 是有限的，则这里的每个集合都是有限集，其中 \(C_1,C_2,\cdots,C_k\) 是所有的常返的互达等价类且是闭集，\(T\) 是余下的所有暂留态的全体，这里 \(k\) 一定是有限数。我们有如下结论：

1. 互达等价类 \(C_1,C_2,\cdots,C_k\) 中的各状态都是正常返的。
2. 如果 \(X_0\in C_i\) 中，则该马尔可夫链将永远不会离开 \(C_i\) 。可以缩小状态空间，把 \(\{X_n\}\) 限制在 \(C_i\) 上得到一个状态空间为 \(C_i\) 的不可约正常返的马尔可夫链。
3. 如果 \(X_0\in T\) ，则该马尔可夫链最终会进入某个 \(C_i\) 并将永远不会离开。

Part 3：吸收概率和平均吸收时间

这里我们主要介绍一种分析方法——一步分析法。首先我们了解一下我们需要研究的问题，考虑有限状态空间的马尔可夫链，根据上述定理，可以将状态空间分解为

\[I=C_1\cup C_2\cup\cdots\cup C_k\cup T \ , \]

其中 \(C_1,C_2,\cdots,C_k\) 是正常返的互达等价类，\(T\) 是暂留态的全体。

定义 \(a_i=P\left(T_{C_1}<\infty|X_0=i\right)\) ，表示从状态 \(i\) 出发在有限步内进入闭集 \(C_1\) 的概率，则有

\[a_i=\left\{ \begin{array}{ll} 1 \ , & i\in C_1 \ , \\ 0 \ , & i\in C_j \ , \ \ j\neq 1\ , \\ \sum\limits_{j}p_{ij}a_j \ , & i\in T \ . \end{array} \right. \]

令 \(i\) 取遍 \(T\) 中所有的暂留态，便可以得到一个线性方程组，进而我们便可以解出从任意状态 \(i\) 出发在有限步内进入 \(C_1\) 的概率，同理也可以解出进入其他闭集 \(C_i\) 的吸收概率。

由于马尔可夫链一旦进入某个 \(C_i\) 之后将永远不会离开 \(C_i\) ，所以我们一般研究从某个暂留态 \(i\in T\) 出发，最终被某个 \(C_i\) 吸收概率，这就是吸收概率问题。

接下来我们研究平均吸收时间问题。定义 \(h_i={\rm E}\left(T_C|X_0=i\right)\) ，表示从状态 \(i\) 出发进入集合 \(C\) 的平均时间，这里不妨设正常返态的全体为 \(C\xlongequal{def}C_1\cup C_2\cup\cdots\cup C_k\) ，则有

\[h_i=\left\{ \begin{array}{ll} 0 \ , & i\in C \ , \\ \sum\limits_{j}p_{ij}(1+h_j)=1+ \sum\limits_{j}p_{ij}h_j \ , & i\in T \ . \end{array} \right. \]

同理我们令 \(i\) 取遍 \(T\) 中所有的暂留态，便可以通过求解线性方程组，解得从任意状态 \(i\) 出发进入集合 \(C\) 的平均时间。

可以看到，一步分析法的基本思想就是全概率公式。当马尔可夫链存在多个闭集时，我们可以利用马尔可夫性和全概率公式，利用一步分析法建立线性方程组，从而计算被某一个特定闭集吸收的吸收概率和平均吸收时间。一般情况下，一步分析法常应用于状态空间中存在吸收态的情况。常见的例子有赌徒输光问题和迷宫老鼠问题，可以在课本中找到。这里我们看一个特殊的例子。

股票价格问题：用 \(X_n\) 表示 \(n\) 时刻某只股票的价格，设 \(\{X_n\}\) 是一个时齐马尔可夫链，状态空间为 \(I=\{1,2,3,4,5\}\) ，一步转移矩阵为

\[P=\left[\begin{array}{ccccc} \frac12 &\frac12 & 0 & 0 & 0 \\ \frac13 & \frac13 & \frac13 & 0 & 0 \\ 0 & \frac14 & \frac14 & \frac12 & 0 \\ 0 & 0 & \frac12 & \frac14 & \frac14 \\ 0 & 0 & \frac18 & \frac48 & \frac38 \\ \end{array}\right] \ . \]

已知初始分布为 \(P(X_0=2)=\dfrac34,\,P(X_0=3)=\dfrac14\) 。

(1) 求股票价格在涨到 \(4\) 元之前不曾跌倒 \(1\) 元的概率。

(2) 求股票价格到达 \(4\) 元的平均时间。

解：(1) 所求概率为 \(P(T_4<T_1)\) 。注意到，该值与到达 \(1\) 或到达 \(4\) 之后的过程没有关系，即我们所关心的问题在股票价格到达 \(1\) 或 \(4\) 之后便停止研究，所以我们可以将 \(1\) 和 \(4\) 看成吸收态。

定义 \(a_i=P(T_4<T_1|X_0=i)\) ，则 \(a_1=0,\,a_4=1\) 。由题意知以下方程组成立：

\[\left\{ \begin{array}{l} a_2=\dfrac13 a_1+\dfrac13 a_2+\dfrac13a_3\ , \\ a_3=\dfrac14a_2+\dfrac14a_3+\dfrac12a_4 \ , \end{array}\right. \]

解得 \(a_2=\dfrac25,\,a_3=\dfrac45\) ，所以由全概率公式可得

\[P(T_4<T_1)=\sum_{i=1}^4P(X_0=i)P(T_4<T_1|X_0=i)=\frac34\times\frac25+\frac14\times\frac45=\frac12 \ . \]

(2) 所求时间为 \({\rm E}(T_4)\) ，同理该值与到达 \(4\) 之后的过程没有关系，所以我们将 \(4\) 看成吸收态。

定义 \(h_i={\rm E}(T_4|X_0=i)\) ，则 \(h_4=0\) ，由题意知以下方程组成立：

\[\left\{ \begin{array}{l} h_1=1+\dfrac12h_1+\dfrac12h_2\ , \\ h_2=1+\dfrac13h_1+\dfrac13h_2+\dfrac13h_3\ , \\ h_3=1+\dfrac14h_2+\dfrac14h_3+\dfrac12h_4 \ , \end{array}\right. \]

解得 \(h_1=\dfrac{23}2,\,h_2=\dfrac{19}2,\,h_3=\dfrac92\) ，所以由全概率公式/全期望公式可得

\[{\rm E}(T_4)=\sum_{i=1}^4P(X_0=i){\rm E}(T_4|X_0=i)=\frac34\times\frac{19}2+\frac14\times\frac92=\frac{33}{2} \ . \]