Markov 随机过程

马尔可夫链

引言

本文主要讲解马尔可夫链以及隐马尔科夫链的相关知识

第一节 离散马尔可夫模型

考虑在每一个时间段有一个值的随机过程。令\(X_n\)表示它在时间段\(n\)的值，假设我们要对一些列相继的值\(X_0, X_1, X_2,···\) 建立概率模型。令 \(\{X_n, n=0,1,2, ···\}\) 是有限个值或可数个值的随机过程， 这个随机过程的可能值的集合记为非负整数集合 \(\{0,1,2,···\}\) 即在任意时刻\(X_i\in\{0,1,2,···\}\), 如果在时刻\(t\), \(X_n = i\),那么称该过程在\(t\)时刻在状态\(i\),我们假设只要过程在状态 \(i\)， 就有一个固定的概率 \(P_{i,j}\) 使得它在下一个状态在 \(j\) 。即我们假设对于一切状态 \(i_0, i_1, i_2,···, i_{n-1}, i, j\) 与一切 \(n \geq 0\) ，有

\[P\{X_{n+1}=j|X_n=i,X_{n-1}=i_{n-1},···,X_1=i_1,X_0=i_0\}=P\{X_{n+1}=j|X_{n}=i\}=P_{i,j} \tag{1.1} \]

这样的随机过程叫做马尔可夫链。
\(P_{i,j}\) 表示过程处于 \(i\) 时下一次转移到状态 \(j\) 的概率。由于概率都是非负，并且过程必须要转移到某一个状态，因此有：

\(P_{i,j}\geq0, i,j\geq0\);       \(\sum_{j}^{\infty}P_{ij}=1, i=0,1,···\)

举个例子

（天气预报） 假设明天下雨的机会只依赖于前一天的天气条件，即今天是否下雨只依赖昨天是否下雨，这里状态集就是 \(S=\{下雨，不下雨\}\) 为了方便，我们可以把下雨记为 \(0\) ，不下雨记为 \(1\) 即状态集为： \(S=\{0,1\}\) 如果今天下雨，那么明天下雨的概率为 \(0.7\) 如果今天不下雨，那么明天下雨的概率为 \(0.6\) 。这样我们可以定义一个转移矩阵\(P\) :

\[P= \left[ \begin{matrix} 0.7 & 0.3 \\ 0.6 & 0.4 \end{matrix} \right] \tag{1.2} \]

从这个转移矩阵中我们可以很容易的看出\(P_{0,0}=0.7, P_{0,1}=0.3,···\)

第二节 C-K方程

我们已经定义了一步转移概率\(P_{i,j}\).现在我们定义\(n\)步转移概率 \(P_{i,j}^{n}\) ,即处于状态 \(i\) 的过程将在 \(n\) 次转移之后处于状态 \(j\) 的概率,即:

\[P_{ij}^{n} = P\{X_{n+k}=j|X_k=i\}, n\geq0, i,j \geq 0 \]

C-K方程（查普曼-科尔莫格罗夫方程)提供了计算 \(n\) 步转移概率的一个方法.这些方程是:

\[P_{ij}^{n+m}=\sum_{k=0}^{\infty}P_{ik}^{n}P_{kj}^{m} \ \ \ \ 对于一切\ \ \ \ n, m \geq 0, 一切i,j \tag{2.1} \]

其具体推导过程如下：

\[\begin{split} P_{ij}^{n+m}=P\{X_{n+m}=j|X_0=i\}=\sum_{k=0}^{\infty}P\{X_{n+m}=j,X_n=k|X_0=i\} = \sum_{k=0}^{\infty}P\{X_{n+m}=j|X_n=k,X_0=i\}=\sum_{k=0}^{\infty}P_{kj}^{m}P_{ik}^{n} \end{split} \]

这个很容易理解,只要注意到 \(P_{ik}^{n}P_{kj}^{m}\) 表示，通过一条第 \(n\) 次转移处于状态 \(k\) 的通道，开始处在状态 \(i\) 的过程经过\(n+m\)次转移至状态\(j\)的概率。因此对于所有的中间状态求和就得到这个过程在\(n+m\)次转移后处于状态\(j\)的概率。
(例) 在假设今天下雨而明天不下雨的概率是 \(0.7\) , 今天不下雨而明天下雨的概率是 \(0.4\)
, 假设今天下雨,计算从今天开始的第 \(4\) 天下雨的概率.

解
一步转移概率矩阵为:

\[P= \left[ \begin{matrix} 0.7 & 0.3 \\ 0.6 & 0.4 \end{matrix} \right] \]

因此

\[ P^{(2)} = P^2 = \left[ \begin{matrix} 0.7 & 0.3 \\ 0.4 & 0.6 \end{matrix} \right] \left[ \begin{matrix} 0.7 & 0.3 \\ 0.4 & 0.6 \end{matrix} \right] = \left[ \begin{matrix} 0.61 & 0.39 \\ 0.52 & 0.48 \end{matrix} \right] \]

\[ \begin{split} P^{(4)} = (P^2)^{2} = \left[ \begin{matrix} 0.5749 & 0.39 \\ 0.5668 & 0.4332 \end{matrix} \right] \end{split} \]

而要求的概率 \(P_{00}^{4}=0.5749\)