C-K方程的两个例子(1)

C-K方程

马尔科夫链的一步转移概率矩阵 $P$ 好理解，而它的 $n$ 步转移概率矩阵 $P$ 应该是如下的定义：
$P_{i, j}^{n} = P {X_{n + k} = j | X_{k} = i}$
而 $C - K$ (查普曼-柯尔莫哥洛夫)方程 $P_{i, j}^{n + m} = \sum_{k} P_{i, k}^{n} P_{k, j}^{m}$ 就是告诉我们上面这个概率 $P_{i, j}^{n}$ 是如何计算的，我们下面来推导一下 $C - K 方程$
$P_{i, j}^{n + m} = P {X_{n + m} = j | X_{0} = i} = \sum_{k = 0}^{\infty} P {X_{n + m} = j, X_{n} = k | X_{0} = i} = \sum_{k = 0}^{\infty} P {X_{n + m} = j | X_{n} = k, X_{0} = i} P {X_{n} = k | X_{0} = i}$
这里第一个等号运用了类似于全概率的思想，可以理解为从一个节点到另一个节点的概率等于该节点通过所有中间节点(时间的先后性保证了中间节点必存在)到达另一个节点的概率，也就是说如果是 $P {X_{n + m} = j, X_{n} = k, X_{p} = r | X_{0} = i}$ ( $n > p$ )那么前面应该有两个求和号了。第二个等号从形式上可以通过条件概率公式可以理解，接着有
$P_{i, j}^{n + m} = \sum_{k = 0}^{\infty} P {X_{n + m} = j | X_{n} = k, X_{0} = i} P {X_{n} = k | X_{0} = i} = \sum_{k = 0}^{\infty} P {X_{n + m} = j | X_{n} = k} P {X_{n} = k | X_{0} = i}$
这里第二个等号成立的原因是马氏链考虑的是相邻两个时间点的关系，所以第三个时间点(这里的 $X_{0}$ )于 $X_{n + m}$ 是相互独立的。这里第二个等号后面的式子也体现出来"链"的特征。所以最后有：
$P_{i, j}^{n + m} = \sum_{k = 0}^{\infty} P_{k, j}^{m} P_{i, k}^{n} = \sum_{k = 0}^{\infty} P_{i, k}^{n} P_{k, j}^{m} = P^{n} \cdot P^{m} (i, j)$
这里第一个等号是通过定义来的，而最后一个等号是通过与现有理论符合得来的。这里 $P^{n}, P^{m}$ 指的是 $n$ 步以及 $m$ 步的概率转移矩阵，它们不一定就等于 $P$ 的对应次方，但是可以通过归纳的方式来证明 $P^{n}, P^{m}$ 就是 $P$ 的对应次方。

例 1

考虑一个转移概率矩阵是 $P_{i, j}$ 的马尔科夫链，用 $Ω$ 来表示这个链可以到达的状态集合的子集，现在想要求出给定初始状态 $X_{0} = i$ 下，此链在时刻 $m$ 前曾进入过 $Ω$ 中任意一个状态的概率，即我们要求的是：
$P {X_{k} \in Ω, k = 1, 2. . ., m | X_{0} = i} i \notin Ω$
这里定义另一个马尔科夫链 $W_{n}$ , 它的定义如下
$W_{n} = {\begin{array}{r} X_{n} n < N \\ A n \geq N \end{array}$
其中N表示原来的马尔科夫链首次进入 $Ω$ 的时间。所以说 $W_{n}$ 在 $n < N$ 时表示的都是没有进入过 $Ω$ 的状态 $X_{n}$ ,而 $W_{n}$ 在 $n \geq N$ 后完全就只有一种状态 $A$ , 这样的定义来源于对题目的分析，因为想要求出的是原来的马氏链在时刻 $m$ 前曾经进入过 $Ω$ 的任意一个状态的概率，这里并没有对进入的时刻以及其具体的状态做要求，所以我们考虑的仅仅是在时刻 $m$ 之前它是否进入过 $Ω$ , 所以本质上可以是一个0-1问题，也就是说我们对该链在时刻 $m$ 之前进入过 $Ω$ 的所有事件(目标事件)一视同仁(不论它们进入的是 $Ω$ 中的哪个状态)，都记为 $A$ ,有点类似于首中即停止的那一类概率问题；而对于在 $m$ 前的状态则不能一视同仁，因为给定了初始条件 $X_{0} = i$ ，所以这里将 $W_{n}$ 在 $n < N$ 的状态定义为 $X_{n}$ , 但是根据上面的这个分析思路是否可以将 $1$ 到 $n - 1$ 的状态都定义为一种状态，而使得 $W_{n}$ 变成一种三状态的马氏链呢？这个我们后面再讨论。

根据 $W_{n}$ 的定义，我们可以定义这个马氏链的转移矩阵 $Q$
$Q_{i, j} = P_{i, j} i \notin Ω j \notin Ω$
$Q_{i, A} = \sum_{j \in Ω} P_{i, j} i \notin Ω$
$Q_{A, A} = 1$
现在我们需要考虑的就是如何将原来马氏链的问题转移到上面定义的马氏链的问题下。原来的问题描述的是在时刻 $m$ 之前进入过 $Ω$ 的概率，也就是说原来的马氏链下首次进入 $Ω$ 的时间应该是在 $m$ 之前，所以有 $m \geq N$ , 此时对应得有 $W_{m} = A$ ，所以原来的问题和给定初始条件 $X_{0} = i$ 下, $W_{m} = A$ 之间是当且仅当的关系(一一映射)。所以有
$P {X_{k} \in Ω, k = 1, 2. . ., m | X_{0} = i} = P {W_{m} = A | X_{0} = i} = P {W_{m} = A | W_{0} = i} = Q_{i, A}^{m}$

接下来讨论 ${W_{n}, n \geq 0}$ 这个马氏链是否可以转化为一个3状态的马氏链 ${R_{n}, n \geq 0}$ , 按照上面的定义我们可以有

R_{n} = {\begin{aligned} i n = 0 \\ B 1 \leq n \leq N \\ A n \geq N \end{aligned}

接着我们根据 $Q$ 来给出 ${R_{n}, n \geq 0}$ 的转移概率矩阵 $O$
$O_{i, 0} = P_{i, 0}$
$O_{i, B} = \sum_{j \in Λ} P_{i, j} i \notin Ω a n d j \notin Ω$ 这里 $Λ$ 表示除 $X_{0}$ 的状态以及 $Ω$ 之外的状态集合
$O_{i, A} = Q_{i, A}$
$O_{B, i} = \sum_{j \in Λ} P_{j, i}$
$O_{B, B} = \sum_{j \in Λ} \sum_{k \in Λ} P_{j, k}$
$O_{B, A} = \sum_{j \in Λ} \sum_{k \in Ω} P_{j, k}$
$O_{A, i} = 0$
$O_{A, B} = 0$
$O_{A, A} = 1$
而原始的问题是在时刻 $m$ 之前进入过 $Ω$ 的概率，在 $R_{n}$ 的上下文问下，问题等价于给定初始条件 $X_{0} = i$ 下， $R_{m} = A$ ,那么有
$P {X_{k} \in Ω, k = 1, 2. . ., m | X_{0} = i} = P {R_{m} = A | X_{0} = i} = P {R_{m} = A | R_{0} = i} = O_{i, A}^{m}$

现在假设我们想求马氏链 ${X_{n}, n \geq 0}$ 在给定初始状态 $X_{0} = i$ 在时刻 $m$ 进入状态 $j$ 而且从没有进入过 $Ω$ 中任何状态的概率，这里 $i, j \notin Ω$ 。我们实际上想求得的概率是
$P {X_{m} = j, X_{k} \notin Ω, k = 1, 2, . . ., m - 1 | X_{0} = i} i, j \notin Ω$
可以比较容易看出上述概率等价于 $P {W_{m} = X_{m} = j | W_{0} = X_{0} = i} = Q_{i, j}^{m}$

如果上面的变形中 $i \notin Ω$ 且 $j \in Ω$ 呢？也就是说给定初始状态下，马氏链在时刻 $m$ 进入 $Ω$ 中并落在 $j$ 处，而它在此之前没有进入过 $Ω$ 的概率，这个情形和最初的那个情形不同之处在于指定了过程末的状态必须是 $j$ . 即我们要求的概率形式化为
$P X_{m} = j, X_{k} \notin Ω, k = 1, 2, . . ., m - 1 | X_{0} = i$ $i \notin Ω$ 且 $j \in Ω$
通过对 $X_{m - 1}$ 取条件，我们可以有
$P {X_{m} = j, X_{k} \notin Ω, | X_{0} = i} = \sum_{r \notin Ω} P {X_{m} = j, X_{m - 1} = r | X_{0} = i} = \sum_{r \notin Ω} P {X_{m} = j | X_{m - 1} = r} \times P {X_{m - 1} = r | X_{0} = i}$
这里前一项可以通过一步概率转移矩阵求得，而后一项描述的给定初始状态下，在时刻 $m - 1$ 时的状态为 $r$ , 前 $m - 1$ 次都没有进入过 $Ω$ , 这种情形就是前一个讨论过的情形，所以结果是
$P {X_{m} = j, X_{k} \notin Ω, k = 1, 2, . . ., m - 1 | X_{0} = i} = \sum_{r \notin Ω} P_{r, j} Q_{i, r}^{m - 1}$