应用随机过程02：马尔可夫链及其概率分布

目录

• 第二讲 马尔可夫链及其概率分布
  • 一、马尔可夫链的定义
    • Part 1：条件概率
    • Part 2：马尔可夫链的定义
  • 二、转移概率和转移矩阵
    • Part 1：转移概率的定义
    • Part 2：时齐的马尔可夫链
  • 三、有限维分布和 C-K 方程
    • Part 1：C-K 方程
    • Part 2：有限维分布

第二讲 马尔可夫链及其概率分布

一、马尔可夫链的定义

Part 1：条件概率

这一章开始之前，我们先对条件概率做一个回顾，这是概率论中非常重要的概念之一。在随机过程的学习中，马尔可夫链这部分内容就需要充分利用条件概率的相关知识。

条件概率的定义：对于任意两个事件 $A$ 和 $B$ ，假设 $P(B)>0$ ，则在给定 $B$ 的条件下，$A$ 的条件概率为：

$$P(A|B)=\frac{P(AB)}{P(B)} \ .$$

下面我们总结一些和条件概率相关的常用计算公式：

1. 乘法公式：条件概率的定义式可以改写为

$$P(AB)=P(A|B)P(B) \ .$$

2. 链式法则：将乘法公式继续推广到多个事件，可以写为

$$P(A_1A_2\cdots A_n)=P\left(A_1\right)P\left(A_2|A_1\right)P(A_3|A_1A_2)\cdots P\left(A_n|A_1A_2\cdots A_{n-1}\right) \ .$$

3. 全概率公式：设 $S$ 为样本空间，事件 $B_1,B_2,\cdots,B_N$ 为 $S$ 的一个划分，则对任意事件 $A$ 有

$$P(A)=\sum_{j=1}^NP(A|B_j)P(B_j) \ .$$

4. 贝叶斯公式：设 $S$ 为样本空间，事件 $B_1,B_2,\cdots,B_N$ 为 $S$ 的一个划分，则对任意事件 $A$ 有

$$P(B_i|A)=\frac{P(B_i)P(A|B_i)}{\sum\limits_{j=1}^NP(A|B_j)P(B_j)} \ .$$

上述公式就是计算条件概率问题中最核心的内容，也是最有效的工具。关于条件概率的知识，我们就复习到这里。由于篇幅所限，关于条件分布的知识我们就默认已经掌握了。

Part 2：马尔可夫链的定义

首先我们定义一种表述方法，考虑只取有限个或可数个值的随机过程 $\{X_n:n=0,1,2\cdots\}$ ，若 $X_n=i$ ，则称过程在 $n$ 时刻处于状态 $i$ 。下面我们来定义马尔可夫性和马尔科夫链。

马尔可夫性：给定过去的状态 $X_0,X_1,\cdots,X_{n-1}$ 和现在的状态 $X_n$ ，将来的状态 $X_{n+1}$ 的条件分布与过去的状态独立，只依赖于现在的状态，这样的性质称为马尔可夫性。

如果我们用 $A$ 表示过去的状态，用 $B$ 表示现在的状态，而用 $C$ 表示将来的状态，即

$$A=\{X_0=i_0,X_1=i_1,\cdots,X_{n-1}=i_{n-1}\} \ , \quad B=\{X_n=i_n\} \ , \quad C=\{X_{n+1}=i_{n+1}\} \ ,$$

则马尔可夫性可以用条件概率直观表示为

$$P(C|AB)=P(C|B) \ ,$$

由此可以等价推出

$$P(AC|B)=\frac{P(ABC)}{P(B)}=\frac{P(AB)P(C|AB)}{P(B)}=P(A|B)P(C|AB)=P(A|B)P(C|B) \ ,$$

因此马尔可夫性也可以理解为在已知现在状态的条件下，过去与将来相互独立。

马尔可夫链：设随机过程 $\{X_n:n=0,1,2,\cdots\}$ 的状态空间 $I$ 有限或可列，如果它具有马尔可夫性，即对任意的状态 $i_0,i_1,\cdots,i_{n-1},i,j\in I$ 和任意的 $n\geq1$ 有

$$P\left(X_{n+1}=j|X_n=i,X_{n-1}=i_{n-1},\cdots,X_1=i_1,X_0=i_0 \right)=P\left(X_{n+1}=j|X_n=i\right) \ ,$$

则称随机过程 $\{X_n:n=0,1,2,\cdots\}$ 是马尔可夫链，简称为马氏链。

我们把具有马尔可夫性的随机过程称为马尔可夫过程。马尔可夫链是离散时间离散状态的马尔可夫过程。在后面我们要学到的泊松过程是连续时间离散状态的马尔可夫过程，布朗运动是连续时间连续状态的马尔科夫过程。

二、转移概率和转移矩阵

Part 1：转移概率的定义

考虑马尔可夫链 $\{X_n:n=0,1,2,\cdots\}$ 及其状态空间 $I=\{i_0,i_1,i_2\cdots,\}$ ，我们将条件概率定义为

$$P(X_{m+n}=j|X_m=i)\xlongequal{def}p_{ij}(m,m+n) \ , \quad i,j\in I \ ,$$

用来表示过程在 $m$ 时刻处于状态 $i$ 的条件下，经过 $n$ 步后转移到状态 $j$ 的转移概率。 由于概率是非负的，且过程在 $m$ 时刻从任何一个状态 $i$ 出发，到 $m+n$ 时刻必须转移到 $I$ 中的某个状态，所以有

$$\begin{aligned} &p_{ij}(m,m+n)\geq0 \ , \quad i,j\in I \ ; \quad \sum_{j=0}^\infty p_{ij}(m,m+n)=1 \ , \quad i\in I \ . \end{aligned}$$

这是最一般情况下的转移概率，在实际应用的时候很少会遇到，所以我们不在此引入转移概率矩阵的定义。下面我们来介绍一种特殊的马尔可夫链及其转移概率。

Part 2：时齐的马尔可夫链

时齐的马尔可夫链：如果 $P(X_{n+1}=j|X_n=i)$ 不依赖于 $n$ ，则称过程 $\{X_n\}$ 是时齐的马尔可夫链。定义马尔可夫链的一步转移概率为

$$P(X_{n+1}=j|X_n=i)\xlongequal{def}p_{ij} \ , \quad i,j\in I \ .$$

一步转移概率 $p_{ij}$ 的含义是处在状态 $i$ 的过程下一次转移到状态 $j$ 的概率，显然一步转移概率也具有如下性质：

$$p_{ij}\geq0 \ , \quad i,j\in I \ ; \quad \sum_{j=0}^\infty p_{ij}=1 \ , \quad i\in I \ .$$

不妨设状态空间为自然数集 $\mathbb{N}=\{0,1,2,\cdots\}$ ，定义一步转移概率矩阵为

$$P=\left(p_{ij}\right)_{I\times I}=\left[ \begin{array}{cccc} p_{00} & p_{01} & p_{02} & \cdots \\ p_{10} & p_{11} & p_{12} & \cdots \\ \vdots & \vdots & \vdots & \cdots \\ p_{i0} & p_{i1} & p_{i2} & \cdots \\ \vdots & \vdots & \vdots & \ddots \end{array} \right] \ .$$

显然一步转移概率矩阵 $P$ 的所有元素都是非负的，且每一行的元素之和为 $1$ 。

在马尔可夫链是时齐的情形下，条件概率 $P(X_{m+n}=j|X_m=i)$ 只与 $i,j$ 以及时间间隔 $n$ 有关，定义马尔可夫链的 $n$ 步转移概率为

$$P(X_{m+n}=j|X_m=i)\xlongequal{def}p_{ij}^{(n)} \ , \quad i,j\in I \ .$$

其含义是处在状态 $i$ 过程将在 $n$ 次转移之后处于状态 $j$ 的概率。类似的可以定义 $n$ 步转移概率矩阵为

$$P^{(n)}=\left(p_{ij}^{(n)}\right)_{I\times I} \ .$$

根据以上定义，如果我们想判断一个马尔可夫链是时齐的，只需要证明它的一步转移概率与时间 $n$ 无关即可。在后面的学习中，我们研究的大部分马尔可夫链都是时齐的，并且多步转移概率可以由一步转移概率计算得到，所以这里最重要的两个概念就是一步转移概率和一步转移概率矩阵。

三、有限维分布和 C-K 方程

Part 1：C-K 方程

设 $\{X_n:n=0,1,\cdots\}$ 是马尔可夫链，状态空间为 $I$ ，对任意的 $n,m,l\geq0$ ，有

$$p_{ij}(n,n+m+l)=\sum_{k\in I}p_{ik}(n,n+m)p_{kj}(n+m,n+m+l) \ , \quad i,j\in I \ .$$

这就是 Chapman-Kolmogorov 方程，简称 C-K 方程。

证明：由全概率公式和马尔可夫性知，

$$\begin{aligned} p_{ij}(n,n+m+l)&=P(X_{n+m+l}=j|X_n=i) \\ \\ &=\sum_{k\in I}P(X_{n+m}=k|X_n=i)P(X_{n+m+l}=j|X_{n+m}=k,X_n=i)\\ \\ &=\sum_{k\in I}P(X_{n+m}=k|X_n=i)P(X_{n+m+l}=j|X_{n+m}=k) \\ \\ &=\sum_{k\in I}p_{ik}(n,n+m)p_{kj}(n+m,n+m+l) \ . \end{aligned}$$

我们可以将 C-K 方程直观解释为：过程在时刻 $n$ 从状态 $i$ 出发，经过 $m+l$ 步到达状态 $j$ 的事件，等价于过程在时刻 $n$ 从状态 $i$ 出发，先经过 $m$ 步到达某个中间状态 $k$ ，再从状态 $k$ 出发，经过 $l$ 步到达状态 $j$ 的事件的和。

若该马尔可夫链是时齐的，即转移概率不依赖于初始时刻 $n$ ，此时我们可以把 C-K 方程改写为

$$p_{ij}^{(m+l)}=\sum_{k\in I}p_{ik}^{(m)}p_{kj}^{(l)} \ , \quad i,j\in I \ .$$

用转移概率矩阵可以把 C-K 方程改写为

$$P^{(m+l)}=P^{(m)}\cdot P^{(l)} \ .$$

特别地，利用数学归纳法可以证明 $n$ 步转移概率矩阵是一步转移概率矩阵的 $n$ 次方，即

$$P^{(n)} = P ^n \ .$$

Part 2：有限维分布

这里我们只讨论时齐的马尔可夫链，有下列命题成立：时齐马尔可夫链的有限维分布完全由初始分布和一步转移概率矩阵决定。我们将这个命题分为一维分布和多维分布两种情况讨论。

设 $\{X_n:n=0,1,\cdots\}$ 是时齐的马尔可夫链，状态空间为 $I$ 。首先考虑一维分布，将 $P(X_0=i),\,i\in I$ 称为初始分布，将 $P(X_n=i),\,i\in I$ 称为第 $n$ 步分布，则有如下命题成立：

$$P(X_n=j)=\sum_{i\in I}P(X_0=j)p_{ij}^{(n)} \ .$$

如果我们将初始分布和第 $n$ 步分布记为 $\mu^{(0)}$ 和 $\mu^{(n)}$ 并写为行向量，则上述命题可以表示为：

$$\mu^{(n)}=\mu^{(0)}P^{(n)}=\mu^{(0)}P^{n} \ .$$

证明：由全概率公式知，

$$\begin{aligned} P(X_n=j)&=\sum_{i\in I}P(X_0=i)P(X_n=j|X_0=i) \\ \\ &=\sum_{i\in I}P(X_0=j)p_{ij}^{(n)} \ . \end{aligned}$$

接下来考虑任意 $k$ 维分布。对任意的 $n_1<n_2<\cdots<n_k$ ，有如下命题成立：

$$P\left(X_{n_1}=i_1,X_{n_2}=i_2,\cdots,X_{n_k}=i_k\right)=P\left(X_{n_1}=i_1\right)p_{i_1i_2}^{(n_2-n_1)}p_{i_2i_3}^{(n_3-n_2)}\cdots p_{i_{k-1}i_k}^{(n_{k}-n_{k-1})} \ .$$

证明：由条件概率的链式法则知，

$$\begin{aligned} \ &P\left(X_{n_1}=i_1,X_{n_2}=i_2,\cdots,X_{n_k}=i_k\right) \\ \\ =\ &P\left(X_{n_1}=i_1\right)P\left(X_{n_2}=i_2|X_{n_1}=i_1\right)\cdots P\left(X_{n_k}=i_k|X_{n_1}=i_1,\cdots,X_{n_{k-1}}=i_{k-1}\right) \\ \\ =\ &P\left(X_{n_1}=i_1\right)P\left(X_{n_2}=i_2|X_{n_1}=i_1\right)\cdots P\left(X_{n_k}=i_k|X_{n_{k-1}}=i_{k-1}\right) \\ \\ =\ & P\left(X_{n_1}=i_1\right)p_{i_1i_2}^{(n_2-n_1)}p_{i_2i_3}^{(n_3-n_2)}\cdots p_{i_{k-1}i_k}^{(n_{k}-n_{k-1})} \ . \end{aligned}$$