Markov Chain

目录

• 符号说明
• 基本概念
  • 马尔可夫链
  • Stationary distributions
    • 例子
    • probability flux
  • 不可约性 (irreducibility)
    • 可达
    • 定义
    • 例子
  • 周期性 (periodicity)
    • 互相可达周期一致定理
    • 定义
    • 例子
  • 常返 (reurrence)
    • 定义
  • Basic Limit Theorem
• 强大数定律之于马氏链
• 性质

Chang J. Markov Chain.

符号说明

• $\mathcal{S} = \{1, 2, \cdots, N\}$, 状态空间;
• $X$, 定义在状态空间 $\mathcal{S}$ 之上的随机变量;
• $\pi_0, \pi_0(i) := \mathbb{P}(X_0 = i)$, 各初始状态的概率 (行向量);
• $P \in \mathbb{R}^{N \times N}, P_{ij} := \mathbb{P}(X_{n+1} = j | X_n = i )$, 转移概率;
• $\pi_{n + 1} = \pi_n P$ 为第 $n + 1$ 步后的状态概率;
• $T_j$, 从状态$X_0$ 开始第一次落在状态 $j$所用步数.

基本概念

马尔可夫链

马尔可夫性: 称随机过程 $X_0, X_1, \cdots$ 满足马尔可夫性, 如果

$$\mathbb{P}(X_{n+1} = i_{n+1}|X_{n} = i_n, \cdots, X_0=i_0) = \mathbb{P}(X_{n+1} = i_{n+1}|X_{n} = i_n)$$

Stationary distributions

满足下列等式的分布成为马氏链的平稳分布:

$$\pi = \pi P.$$

即

$$\pi(j) = \sum_{i \in \mathcal{S}} \pi(i) P(i, j).$$

例子

• Ehrenfest Chain: 设想有 $0, 1, \cdots, d$ 区域, 每个区域往旁边两个区域的转移概率为

$$P(i, i - 1) = i / d, \: P(i, i + 1) = (d - i) / d,$$

则平稳分布为

$$\pi = \frac{1}{2^d}(C_d^0, C_d^1, \cdots, C_d^d).$$

• $\mathcal{S} = \{1,2, \cdots \}$, 且

$$P(i, i + 1) = 1,$$

则不存在平稳分布.

• $\mathcal{S} = \{1, 2, \cdots\}$, 且

$$P(i, i-1) = 1 / 2 = P(i, i + 1),$$

则有

$$\pi(j) = \frac{1}{2}\pi(j - 1) + \frac{1}{2}\pi(j + 1),$$

可以发现, 理论上应该是

$$\pi = \frac{1}{Z} (1, 2, 3, \cdots)$$

显然不存在这样的常数$Z$成立, 故也不存在平稳分布.

probability flux

从子集 $A$ 到子集 $B$ 的 flux 定义为

$$\begin{array}{ll} \text{flux}(A, B) &=\sum_{i \in A} \sum_{j \in B} \pi(i) P(i, j) \\ &=\sum_{i \in A} \pi(i) \sum_{j \in B} P(i, j) \\ &=\sum_{i \in A} \pi(i) \mathbb{P}(X_n \in B | X_{n-1} = i) \\ &=\mathbb{P}(X_n \in B, X_{n-1} \in A) \\ \end{array}$$

显然有如下性质

1. 线性性质

$$\text{flux}(A, B \cup C) = \text{flux}(A, B) + \text{flux}(A, C), \\ \text{flux}(B \cup C, A) = \text{flux}(B, A) + \text{flux}(C, A). \\ $$

2. 对于 $\{k\}$:

$$\text{flux}(\mathcal{S}, \{k\}) =\text{flux}(\{k\}, \mathcal{S}) = \pi(k).$$

3. 于是对于任意子集 $A$:

$$\text{flux}(\mathcal{S}, A) = \text{flux}(A, \mathcal{S}) = \sum_{i \in A} =\pi(i).$$

4. 最后, 有

$$\text{flux}(A, A^C) = \text{flux}(A, \mathcal{S}) - \text{flux}(A, A) = \text{flux}(A^C, A)$$

成立.

不可约性 (irreducibility)

• $\mathbb{P}_i (A) := \mathbb{P}(A|X_0 = i)$, 类似的 $\mathbb{E}_i$.

可达

可达: 称状态 $i$ 可达 状态 $j$, 如果

$$\mathbb{P}_i \Bigg\{ \bigcup_{n=0}^{\infty}\{X_n = j\} \Bigg\} > 0,$$

或等价地,

$$\sum_{n=0}^{\infty} P^n(i, j) = \sum_{n=0}^{\infty}\mathbb{P}_i \{X_n = j\} > 0.$$

定义

不可约: 我们称马氏链是不可约的, 若对于其中任意状态 $i, j$, 都是互相可达的.

注: 实际上, 可以将互相可达(communicating)看成一个关系, 可以将状态分成若干等价类, 类内互相可达, 类间不互相可达. 显然不可约即只有一个等价类.

例子

• 对于任意 $\pi_0$, 假设

$$P = \left ( \begin{array}{cc} 1 & 0 \\ 0 & 1 \end{array} \right ),$$

显然有 $\pi_0 = \pi_0 P$, 此时任意的先验 $\pi_0$ 都是平稳分布的.

周期性 (periodicity)

周期: 给定马氏链 $\{X_0, X_1, \cdots \}$, 定义状态 $i$ 的周期为(最大公约数)

$$d_i = \mathrm{gcd}\{n: P^{n}(i, i) > 0\}.$$

互相可达周期一致定理

定理: 如果状态 $i, j$ 互相可达, 则 $d_i = d_j$.

---

proof:

由于 $d_i = d_j$ 互相可达, 则存在

$$P^{n_1}(i, j) >0, P^{n_2}(j, i) > 0,$$

故

$$d_1 | n_1 + n_2.$$

对于任意 $n \in \{n: P^{n} (j, j) > 0\}$, 有

$$d_1 | n_1 + n + n_2,$$

故 $d_1$ 为 $n \in \{n: P^{n} (j, j) > 0\}$的公约数, 即

$$d_1 | d_2,$$

反之可得

$$d_2 | d_1.$$

故

$$d_1 = d_2.$$

---

定义

不可约的马氏链是非周期性 (aperiodic) 的, 如果它的周期为1, 否则称其为周期性 (periodic) 的.

例子

• 对于任意 $\pi_0 = (p, q)$, 假设

$$P = \left ( \begin{array}{cc} 0 & 1 \\ 1 & 0 \end{array} \right ),$$

改马氏链不可约, 其周期为2, 显然$n$为奇数是

$$\pi_n = (q, p),$$

偶数时

$$\pi_n = (p, q),$$

故这种情况下分布是不收敛的.

常返 (reurrence)

定义

常返: 状态 $i$ 是常返的, 如果

$$\mathbb{P}_i(T_i < +\infty) = 1,$$

其中

$$T_i = \text{inf}\{n > 0: X_n = i\},$$

为从 $i$ 首次回到 $i$ 的时间, 否则称为非常返 (transient) 的.

显然常返的含义就是, 状态 $i$ 在有限时间内一定会返回到自身. 注意和可达的区分, 可达只是回答了能不能从某个状态到另一个状态, 其相当于是 (0!)

$$\mathbb{P}_i (T_j < +\infty) > 0, \: i \not = j.$$

注: 我们来理解下

$$\mathbb{P}_i(T_i < +\infty) = 1,$$

假设

$$\mathbb{P}_i(T_i < n) = 1 - \frac{1}{n},$$

则

$$\mathop{\lim} \limits_{n \rightarrow \infty} \mathbb{P}_i(T_i < n) = 1.$$

但是我们找不到一个固定的 $N$, 使得

$$\mathbb{P}_i(T_i < N) = 1.$$

定理1.24: 假设 $i$ 是常返的且可达 $j$, 则

1. $\mathbb{P}_i (T_j < +\infty) = 1$;
2. $\mathbb{P}_j (T_i < +\infty) = 1$;
3. 状态 $j$ 也是常返的.

定理1.25: 状态 $i$ 是常返的, 当前仅当

$$\mathbb{E}_i [N_i] = \infty,$$

其中

$$N_i = \sum_{n=0}^{\infty} I(X_n = i).$$

---

proof:

如果 $i$ 是常返的, 则

$$\mathbb{P}_i (N_i = \infty) = 1,$$

故期望为 $\infty$.

$\Leftarrow$ 可通过反证法, 此时假设

$$q := \mathbb{P}_i (T_i = \infty) > 0.$$

假设从 $i$ 出发第一次回到 $i$ 的路径记为 cycle $R$, 整个过程可能有

$$c = 0, 1, 2, \cdots$$

个这样的 cycles. 显然

$$\mathbb{P}(c = 0) = q.$$

因为回到 $i$ 之后的路径和之前的路径是独立的, 故

$$\mathbb{P}(c = k) = (1 - q)^k q,$$

实际上是一个成功率为 $q$ 的几何分布. 而 $N_i = c + 1$,

$$\mathbb{E}[N_i] = \frac{1}{q} + 1.$$

---

推论1.26: 如果 $j$ 是非常返的, 则 $\lim_{n \rightarrow \infty} P^n (i, j) = 0, \: \forall i$.

命题1.30: 假设马氏链有平稳分布 $\pi$, 如果状态 $j$ 是非常返的, 则 $\pi(j) = 0$.

---

proof:

既然

$$\pi(j) = \sum_i \pi(i) P^n(i, j),$$

而通过推论1.26可知

$$P^n(i, j) \rightarrow 0.$$

---

推论1.32: 如果不可约的马氏链具有平稳分布, 则该链是常返的(所有状态).

---

proof:

由定理1.24可知, 不可约的马氏链要么都是常返的, 要么都是非常返的, 而如果是非常返的, 由上述命题1.30又可知 $\pi(i) = 0, \forall i$, 此时不符合分布的条件.

---

Basic Limit Theorem

Basic Limist Theorem: 令 $X_0, X_1, \cdots$ 为不可约的, 非周期的马氏链且具有平稳分布 $\pi$. $X_0$ 的初始分布为任意 $\pi_0$, 有

$$\lim_{n \rightarrow \infty} \pi_n(i) = \pi(i), \: \forall i \in \mathcal{S}.$$

---

证明思路 (非常有意思):

1. 证明

$$\|\pi_n - \pi\|_{TV} \le \mathbb{P}(T < n), \\ T := \inf \{n: X_n = Y_n\}, Y_0 \sim \pi.$$

于是只需证明 $\mathbb{P}(T < n) \rightarrow 0$;
2. 构建 $Z := \langle X, Y \rangle$, 此时只要

$$\mathbb{P}(T_Z(j) < n) \rightarrow 0, \forall j \\ T_Z(j) := \inf \{n: Z_n = (j, j)\}.$$

3. 可证明一个充分条件: $Z_0, Z_1, \cdots$ 是不可约的常返的;
4. 因为 $Z$ 有平稳分布 $\pi(i)\pi(j)$, 故只需证明 $Z$ 是不可约的 (推论1.32);
5. 通过非周期性证明存在 $N$, $P^n(i, i) > 0, \forall n > N$, 再有 $X, Y$本身的不可约可得

$$P^n(i, j) > 0, \forall n > N.$$

6. $Z$的转移概率记为 $P_X(i, j) P_Y(i', j')$, 不可约证毕.

---

强大数定律之于马氏链

这里只记录结果:

定理1.39: 假设马氏链 $X_0, X_1, \cdots$ 从状态 $X_0 = i$ 出发, 且状态 $i$ 可达状态 $j$, 则

$$\mathbb{P}_i \Bigg\{\lim_{n \rightarrow \infty} \frac{1}{n} \sum_{t=1}^n I\{X_t = j\} = \frac{1}{\mathbb{E}_j [T_j]}\Bigg\} = 1.$$

推论1.40: 对于不可约的马氏链, 有

$$\lim_{n \rightarrow \infty} \frac{1}{n} \sum_{t=1}^n P^t(i, j) = \frac{1}{\mathbb{E}_j [T_j]} \: \forall (i, j).$$

定理1.41: 不可约的马氏链若同时为 positive recurrent ($\mathbb{E}_j(T_j) < \infty$), 则其存在唯一的平稳分布

$$\pi(j) = \frac{1}{\mathbb{E}_j(T_j)}.$$

性质

1. $X_0, X_1, \cdots$为一马氏链:

$$\mathbb{P}(X_2 \in B| X_1 = x_1, X_0 \in A) = \mathbb{P}(X_2 \in B| X_1 = x_1) \\ \mathbb{P}(X_2 \in B| X_1 \in A, X_0 = x_0) \not \rightarrow \mathbb{P}(X_2 \in B| X_1 \in A). \\ $$

后者不成立的反例考虑 $A = \mathcal{S}$ 即可.

2. $X_0, X_1, \cdots$为一马氏链, $i < j < k$:

$$\mathbb{P}(X_j|X_i) \mathbb{P}(X_k|X_j) =\mathbb{P}(X_k,X_j|X_i).$$

既然 $\mathbb{P}(X_k|X_j) = \mathbb{P}(X_k|X_j, X_i)$.

未完待续...