马氏链在暂态停留的时间

在马氏链的长程性质和其稳态概率那里我们讨论都是常返马氏链(不可约)在某个状态上停留的时间比例，这个时间比例也称为稳态概率，它等于这个不可约的常返马氏链从状态 $j$ 出发首次回到自身所需转移次数的期望的倒数。

这里我们主要考虑有限状态的马氏链在暂态类中某个状态上的停留时间。

从暂态到暂态的停留时间

设一个有限状态的马氏链的暂态类为 $T = {1, 2, . . ., t}$ , 且有在其上的暂态转移概率

$P_{T} = [\begin{matrix} P_{11} & P_{12} & \dots & P_{1 t} \\ ⋮ & ⋮ & ⋮ & ⋮ \\ P_{t 1} & P_{t 2} & \dots & P_{t t} \end{matrix}]$

现在我们考虑这个开始于 $i$ 的马氏链在状态 $j$ 上的平均停留时间 $s_{i j}$ ( $i, j \in T$ )(从 $i$ 达到 $j$ 之后，之后再达到 $j$ 的过程就是 $j$ 到 $j$ 的过程了，这是对下面例子中的"最后"一词的预先解释)，可以对初始转移取条件，那么可以得到下式
$s_{i j} = \sum_{k} P_{s k} s_{k j}$
这个式子描述了取从 $i$ 的一步转移到 $k$ ,然后考虑从 $k$ 开始在 $j$ 上的平均停留时间，然后对 $k$ 求和。那么如果在开始时 $i$ 与 $j$ 相等呢？这意味着在刚刚开始时就已经以概率1在 $j$ 上停留了1个时间了，而上面这个式子却没有描述到这种情况，就算取 $i = j$ ,它描述的是从 $j$ 出发到自身的转移时间，并没有算上刚刚开始的这1个时间，但是如果在开始时 $i \neq j$ 的情况下，上述的求和式就是对的，所以综合考虑之下有
$s_{i j} = δ_{i j} + \sum_{k} P_{s k} s_{k j}$
其中 $δ_{i j} = 1$ 当且仅当 $i = j$ ,其他情况下为0. 接下来，对于第一步转移到的 $k$ ，如果它是个常返态，那么对于它即将到达的暂态 $j$ 来说， $j$ 就可以无限次地被访问到，这就有悖于它为暂态的设定，所以这一步转移到的 $k$ 只能是个暂态，那么就有
$s_{i j} = δ_{i j} + \sum_{k = 1}^{t} P_{s k} s_{k j}$
即 $k \in T$ . 我们的目标是要求每一对 $i, j$ 的 $s_{i j}$ , 我们考虑矩阵 $S$

$S = [\begin{matrix} s_{11} & s_{12} & \dots & s_{1 t} \\ ⋮ & ⋮ & ⋮ & ⋮ \\ s_{t 1} & s_{t 2} & \dots & s_{t t} \end{matrix}]$

显而易见的是对角线上的元素都满足 $δ = 1$ 且考虑到 $s_{i j}$ 的计算方式，矩阵 $S$ 可以写为
$S = I + P_{T} S$
进一步解这个关于 $S$ 的方程，可以得到
$S = (I - P_{T})^{- 1}$
这样知道矩阵的暂态的转移概率后就可以计算出 $S$ ,即初始状态在暂态 $i$ 的马氏链在暂态 $j$ 上停留的时间了。

现在我们考虑马氏链中的暂态的可达问题，即对于 $i, j \in T$ , $P_{i j}^{k}$ 表示从 $i$ 出发经过 $k$ 步可达 $j$ , 现在我们还不知道这个 $k$ 是有限的还是无限的。我们令 $P_{i j}^{k} = f_{i j}$ , 接下来我们就要根据 $s_{i j}$ 来求 $f_{i j}$
$s_{i j} = E {在 j 停留的时间 | 从 i 出发} = E {在 j 停留的时间 | 从 i 出发并达到 j} f_{i j} + E {在 j 停留的时间 | 从 i 出发达不到 j} (1 - f_{i j})$
到这里你可能会问，你这 $i$ 都达不到 $j$ 了，它怎么会对 $s_{i j}$ 有贡献呢？实际上使得第二项不为0的唯一一种情况是 $i = j$ ，所以第二项化为
$E {在 j 停留的时间 | 从 i 出发达不到 j} (1 - f_{i j}) = δ_{i j} (1 - f_{i j})$
而对于第一项，它也会有 $i = j$ 的情况(也就是说 $i$ 达到或者达不到 $j$ 的情况下都会有 $i = j$ 的讨论)；当 $i \neq j$ 时， $i$ 达到 $j$ 的情况下在 $j$ 的停留时间的期望实际上等价于从 $j$ 出发并在 $j$ 上停留的时间期望，而这个期望时间为 $s_{j j}$ , 所以第一项可以化为
$E {在 j 停留的时间 | 从 i 出发并达到 j} f_{i j} = (δ_{i j} + s_{j j}) f_{i j}$
那么关于 $f_{i j}$ 的方程就为
$s_{i j} = (δ_{i j} + s_{j j}) f_{i j} + δ_{i j} (1 - f_{i j})$
解得 $f_{i j}$ 为
$f_{i j} = \frac{s_{i j} - δ_{i j}}{s_{j j}}$
当 $s_{j j}$ 正向接近于1时，说明从 $j$ 出发并在 $j$ 上停留的平均时间接近于1，这说明链从 $j$ 开始就基本上没有回到过 $j$ , 此时 $f_{i j} = s_{i j} - δ_{i j}$ 如果 $i \neq j$ ,就有 $f_{i j} = s_{i j}$ ,而 $f_{i j} \leq 1$ ,所以有 $s_{i j} \leq 1$ 这符合前面的链从 $j$ 开始就基本上没有回到过 $j$ 上的判断。

一个例子--赌徒赌博问题

一个赌徒，他在每次赌博中依概率 $p$ 赢一个单位(筹码)，并以概率 $q = 1 - p$ 输一个单位，假设各次赌博都是独立的，赌徒在开始有 $i$ 个单位，问他的财富在达到 $0$ 之前先达到 $N$ 的概率是多少？

虽然每次赌博是相互独立的，但是赌徒在每次开始赌博之前，它手中的筹码是上一局的筹码加1或者减1，所以可以使用马氏链来建模并分析整个过程。

首先用 $X_{n}$ 表示赌徒在第 $n$ 次赌博开始时手中的筹码, $X_{0} = i$ , 规定在赌徒的筹码达到 $0$ 或者 $N$ 时就不再进行赌博，那么 ${X_{n}, n \geq 0}$ 表示的马氏链的转移概率为
$P_{00} = P_{N N} = 1; P_{i, i + 1} = p = 1 - P_{i, i - 1}, i = {1, 2, 3, . . ., N - 1}$
可以小提一下的是这里 $P_{i, i + 1} = 1 - P_{i, i - 1}$ 也说明了赌徒每次赌博的结果只有两种 $i + 1, i - 1$ ，这和随机游走比较相似了。回到这里，我们感兴趣的是赌徒在初始有 $i$ 个筹码的情况下其筹码最后(这里$P_{NN} =1 $对 " 最后 " 作了解释，即首次达到$ N $) 可以达到$ N$的概率，之所以这里不再强调他的财富在达到 $0$ 之前是因为已经规定了 $P_{00} = 1$ ，也就是说它如果在过程中筹码如果达到 $0$ 了就会被困住(吸收掉)，不会再参与到过程中来了，更不要提最后达到 $N$ 了。

用 $P_{i}$ 表示赌徒在初始有 $i$ 个筹码的情况下首次达到 $N$ 的概率，那么同样地，对首次转移取条件得到
$P_{i} = p P_{i + 1} + q P_{i - 1} \to (p + q) P_{i} = p P_{i + 1} + q P_{i - 1}$
那么可以得到关于它们的递推式
$P_{i + 1} - P_{i} = \frac{q}{p} (P_{i} - P_{i - 1}), i = 1, 2, . . ., N - 1$
采取归纳的方式我们可以得到
$P_{i} - P_{1} = P_{1} [(\frac{q}{p}) + (\frac{q}{p})^{2} + \dots + (\frac{q}{p})^{i - 1}]$
进而可以得到
$P_{i} = {\begin{array}{r} \frac{1 - (\frac{q}{p})^{i} P_{1}}{1 - (\frac{q}{p})} if q \neq p \\ i P_{1} if q = p \end{array}$
因为 $P_{N} = 1$ , 代入可解出 $P_{1}$ , 那么最终 $P_{i}$ 为
$P_{i} = {\begin{array}{r} \frac{1 - (\frac{q}{p})^{i}}{1 - (\frac{q}{p})^{N}} if q \neq p \\ \frac{i}{N} if q = p \end{array}$
例如，如果A与B赌博，A以0.6的概率获胜，若A以5个筹码开始，B以10个筹码开始，那么A在破产产让B输光的概率就是 $\frac{1 - (\frac{2}{3})^{5}}{1 - (\frac{2}{3})^{15}} = 0.87$

需要注意的是赌徒问题中, 状态0和状态 $N$ 是常返态，而其他状态则是暂态，所以这个马氏链的状态类有三种，即 ${0}$ , ${1, 2, . . ., N - 1}$ , ${N}$ . 现在考虑这样的问题，假设 $p = 0.4, N = 7$ , 开始时有3个筹码，那么赌徒有5个筹码的平均时间是多少？那么马氏链 ${X_{n}, n \geq 0}$ 的状态类有三种 ${0}, {1, 2, 3, . . ., 6}, {7}$ , $X_{0} = 3$ , $X_{n} = 5$ 说明我们研究的问题是一个从暂态到暂态的停留时间的问题，所以可以根据上面的步骤根据 $p$ 先写出状态转移矩阵，完事儿以后计算 $S$ 矩阵，最后的 $S_{35}$ 即为所求。

在这个问题的假设的基础上我们考察赌徒最终有1个筹码的概率，按照上面的 $f_{i j}$ 的定义，我们可以比较轻松的计算出这个概率为
$f_{31} = \frac{S_{31}}{S_{11}} = 0.8797$
在这里停顿一下，这个问题也可以使用前面的那个 $P_{i}$ 的公式，前面的那个 $P_{i}$ 的公式描述的是初始有 $i$ 个筹码在破产前有 $N$ 个筹码的概率，也就是初始时有 $i$ 个筹码在筹码减少到0之前赢了 $N - i$ 个筹码，(这里减少到0之前其实表述的就是在达到常返态之前)。而要用这个公式，得把 $f_{31}$ 的表述换到 $P_{i}$ 的上下文中， $f_{31}$ 表示初始时有3个筹码的情况下，在达到常返态之前有一个筹码的概率，而这里常返态有0,7，也就是说在初始时有3个筹码的情况下在增加4个筹码之前减少到1个筹码的概率(达到常返态7)，而这由等价于初始时有2个筹码在达到6个筹码(这里6就是新的常返)之前达到0个筹码(破产)的概率，说它们是等价的是因为任何一条从 $3$ 到 $1$ 的路径都可以映射到从 $2$ 到 $0$ 的路径。所以我们这里构造了一条新的链，它的常返态分别是0,6；而之间的整数则是暂态，所以求 $f_{31}$ 就转化为求初始时有两个筹码在达到6个筹码前破产的概率，而这个事件则是事件 B:初始时有两个筹码在破产前达到6个筹码的概率的补集，因为对达到6个筹码前破产取非表示希望达到6个筹码这个事件可以出现在破产这个事件前，即对应于B事件，所以根据 $P_{i}$ 的公式，我们有
$f_{31} = 1 - \frac{1 - (0.6 / 0.4)^{2}}{1 - (0.6 / 0.4)^{6}} = 0.8797$
一句话总结上面这种做法的思路就是将暂态到暂态的概率通过将其中一个暂态映射到新的链的常返态中，这样就可以回到最初的赌徒的赌博问题，且这里新的链的转移概率等于最初的赌徒赌博问题的转移概率。