鞅和鞅的停时定理

鞅

一些定义：

• 随机过程：依赖于参数的一组随机变量的全体，参数通常是时间。即假设 $T$ 是指标集，且对于任意 $t\in T$，$X_t$ 都是一随机变量，那么我们就可以称 $\{X_t|t\in T\}$ 为一随机过程。
• 条件概率：$P(A|B)$，表示事件 $A$ 在事件 $B$ 发生的条件下发生的概率。
• 独立同分布：对于随机变量 $X_1,\cdots,X_n$，若它们服从同一分布，并且互相独立，就称这些变量独立同分布。
• $Var(X)$：为随机变量 $X$ 的方差，等于 $E((X-E(X))^2)$，展开后也等于 $E(X^2)-E(X)^2$。

接下来介绍鞅的定义，一种最基础的鞅的定义是：

称离散随机过程 $\{X_0,X_1,\cdots\}$ 是鞅，若对于任意的 $n$ 都满足：

• $E(|X_n|)<\infty$。

• $E(X_{n+1}|X_n,\cdots,X_0)=X_n$。

  这里 $X_n,\cdots,X_0$ 作为条件概率里的条件，意思是假设随机变量 $X_n,\cdots,X_0$ 已经确定了。即其等价于：$\forall x_0,x_1,\cdots,x_n,E(X_{n+1}|X_n=x_{n},\cdots,X_0=x_0)=X_n$。

一个扩展一点的定义：

称离散随机过程 $\{Y_0,Y_1,\cdots\}$ 关于随机过程 $\{X_0,X_1,\cdots\}$ 是鞅，若对于任意的 $n$ 都满足：

• $E(|Y_n|)<\infty$。
• $E(Y_{n+1}|X_n,\cdots,X_0)=Y_n$。

注意，第二个条件意味着 $Y_n$ 仅可能与 $X_n,\cdots,X_0$ 有关，即在 $X_n,\cdots,X_0$ 确定的情况下，$Y_n$ 也是确定的。

观察鞅的定义，我们可以得到这么一个结论：假设 $Y_n$ 是关于 $X_n$ 的鞅，那么 $\forall t,E(Y_t)=E(Y_0)$。

但注意这个结论并不和鞅定义中第二个条件等价，鞅定义中的第二个条件会比这个结论更加严格。

除此之外还有上鞅和下鞅：如果鞅的第二个条件中的符号变为 $\leq$ 则称其为上鞅；如果变为 $\geq$，则称其为下鞅。注意这和 “上”、“下” 的直觉相反。

一道例题：

考虑一个简单的随机游走过程，即 $S_n=\sum_{k=1}^nX_k$，且 $P(X_i=1)=P(X_i=-1)=\frac{1}{2}$。

1. 求证：$S_n$ 是一个关于 $X_n$ 的鞅。

   证明：第一个条件：$E(|S_n|)\leq n<\infty$。

   第二个条件：$E(S_{n+1}-S_n|X_n,\cdots,X_0)=E(X_{n+1}|X_n,\cdots,X_0)=E(X_{n+1})=0$。

2. 求证：$Y_n=S_n^2-n$ 是一个关于 $X_n$ 的鞅。

   证明：第一个条件：$E(|S_n^2-n|)\leq E(S_n^2)\leq n^2<\infty$。第二个条件：

   $$\begin{aligned} &E(Y_{n+1}-Y_{n}|X_n,\cdots,X_0)\\ =&E((S_{n+1}^2-(n+1))-(S_n^2-n)|X_n,\cdots,X_0)\\ =&E(S_{n+1}^2-S_n^2-1|X_n,\cdots,X_0)\\ =&\tfrac{1}{2}((S_n+1)^2+(S_n-1)^2)-S_n^2-1\\ =&0 \end{aligned}$$

鞅的停时定理

一些定义：

• 几乎一定：一个事件 $A$ 几乎一定会发生当且仅当事件 $A$ 发生的概率为 $1$。即 $A$ 不发生的情况集合可能是非空的，但它们对应的概率为 $0$。在样本空间有限时，“几乎一定” 和 “一定” 通常没有区别。但在样本空间无限时，这种区别变得非常重要，因为无限集可以有出现概率为 $0$ 的非空子集。

  例子：在 $[0,1]$ 中任选一个实数，选出的数几乎一定大于 $0$。

  下面可能还要注意 “趋近于” 和 “等于” 的区别：比如 $0$ 乘任何数一定是 $0$（注意 $\infty$ 不是 “数”），但一个趋近于 $0$ 的数乘上一个趋近于 $\infty$ 的数我们不知道它是什么。

• 停时：关于随机过程 $\{X_0,X_1,\cdots\}$ 的停时是一个非负的随机变量 $T$（可能为 $\infty$），满足对于任意的 $n$，$[n=T]$ 的取值仅与 $X_0,\cdots,X_n$ 有关。直观地说，对于任意的时间 $n$，你可以仅通过 $X_0,\cdots,X_n$ 判断 $T,n$ 的大小关系（当然若 $T\leq n$，你也可以得到 $T$ 的具体取值）。

• 带停时的随机过程：对于随机过程 $\{X_0,X_1,\cdots,\}$，设其停时为 $T$，定义该随机过程所对应的带停时的随机过程 $\{\bar X_0,\bar X_1,\cdots\}$：

  $$\bar X_n= \begin{cases} X_n,&n\leq T\\ X_T,&n>T \end{cases}$$

  当然，一些文章中可能会直接用 $X_{\min(n,T)}$ 代替 $\bar X_n$。

  直观地说，$\{\bar X_0,\bar X_1,\cdots\}$ 就是把 $\{X_0,X_1,\cdots\}$ 改成在停时之后维持不变的结果。

  注意停时 $T$ 只是一个关于 $\{X_0,X_1,\cdots,\}$ 的函数，并不是说一个随机过程有停时它就是带停时的。

我们可以证明某个鞅带停时后也是一个鞅：

• 引理 1：设 $Y_n$ 是一个关于 $X_n$ 的鞅，那么 $\bar Y_n$ 也是一个关于 $X_n$ 的鞅。

  证明：我们只需要证明 $E(\bar Y_{n+1}|X_n,\cdots,X_0)=\bar Y_n$ 即可。

  注意 $X_n,\cdots,X_0$ 是已知的，所以我们可以得到 $T,n$ 的大小关系：

  • 若 $T\leq n$，则 $\bar Y_{n+1}=\bar Y_n$。
  • 若 $T>n$，则 $E(\bar Y_{n+1}|X_n,\cdots,X_0)=E(Y_{n+1}|X_n,\cdots,X_0)=Y_n=\bar Y_{n}$。

  直观地说，对于那些未到停时的过程它们原来就是期望不变的，对于那些已经到停时的过程由于我们已经钦定它们不变了，所以它们也是期望不变的。

  推论：$\cdots=E(\bar Y_1) =E(\bar Y_0)=E(Y_0)=E(Y_1)=\cdots$。直观上也很容易解释。

接下来介绍鞅的停时定理：

设 $\{Y_0,Y_1,\cdots\}$ 是一个鞅，$T$ 是其停时，且 $T$ 几乎一定有限（$P(T<\infty)=1$），若有下列条件之一成立，则有 $E(Y_T)=E(Y_0)$：

• $T$ 几乎一定有界，即存在一个常数 $K$ 使得 $P(T\leq K)=1$。

  证明：

  $$\begin{aligned} E(Y_T)&=P(T\leq K)E(Y_T|T\leq K)+P(T>K)E(Y_T|T>k)\\ &=E(Y_T|T\leq K)\\ &=E(\bar Y_K)\\ &=E(Y_0) \end{aligned}：$$

  一些帮助理解的例子：

  • 数轴上从 $0$ 开始向右游走，每次走长度 $1$ 或长度 $2$，走到当前位置大于等于特定常数 $S$ 为止。这个是 $T$ 有界的例子。
  • 从 $[0,1]$ 中每次随机选一个实数，直到选出非 $0$ 数为止。这是 $T$ 不有界但几乎一定有界的例子。
  • 每次抛一枚硬币，直到抛出反面位置。这是 $T$ 不几乎一定有界的例子。因为对于任意的 $K$，$P(T>K)=\frac{1}{2^K}$，而即使是 $K$ 趋近于 $\infty$ 时，$P(T>K)$ 也只是趋近于 $0$，而不等于 $0$。

• $\bar Y_n$ 几乎一定有界，即存在一个常数 $K$ 使得 $P(|\bar Y_n|\leq K)=1$。

  证明：

  $$\begin{aligned} E(Y_T)&=\lim_{n\to \infty}P(T\leq n)E(Y_T|T\leq n)+P(T>n)E(Y_T|T>n)\\ &=\lim_{n\to \infty}P(T\leq n)E(\bar Y_n|T\leq n)+P(T>n)\cdot O(1)\\ &=\lim_{n\to \infty}P(T\leq n)E(\bar Y_n|T\leq n)\\ &=\lim_{n\to \infty}E(\bar Y_n)-P(T>n)E(\bar Y_n|T>n)\\ &=\lim_{n\to \infty}E(\bar Y_n)-P(T>n)\cdot O(1)\\ &=\lim_{n\to \infty}E(\bar Y_n)\\ &=E(Y_0) \end{aligned}$$

  一些帮助理解的例子：

  • 数轴上从 $0$ 开始随机游走，每次等概率向左或向右移动 $1$，走到 $-m$ 或 $m$ 为止。那么第 $n$ 步之后的位置 $S_n$ 肯定有界 $[-m,m]$。

• $E(T)$ 有限。且 $E(|Y_{n+1}-Y_n|)$ 几乎一定有界，即存在一个常数 $K$ 使得 $P(E(|Y_{n+1}-Y_n|)\leq K)=1$。

  证明：

  $$\begin{aligned} &\lim_{t\to \infty}E(Y_T-Y_t)\\ =&\lim_{t\to \infty}P(T>t)E(Y_T-Y_t|T>t)\\ =&\lim_{t\to \infty}\sum_{i=t}^{\infty}P(T>i)E(Y_{i+1}-Y_i|T>i)\\ \leq &\lim_{t\to \infty}\sum_{i=t}^{\infty}P(T>i)K\\ =&K\lim_{t\to\infty}\sum_{i=t}^{\infty}P(T>i)\\ =&K\lim_{t\to \infty}\sum_{i=t}^{\infty}P(T=i)(i-t)\\ \leq &K\lim_{t\to \infty}\sum_{i=t}^{\infty}P(T=i)i\\ \end{aligned}$$

  考虑设 $S_n=\sum_{i=0}^nP(T=i)i$，显然数列 $S_n$ 趋近于数 $E(T)$，那么 $E(T)-S_n$ 趋近于 $0$，所以上式等于 $0$。故：

  $$E(Y_T)=\lim_{t\to \infty}E(Y_t)=E(Y_0)$$

  一些帮助理解的例子：

  • 首先注意前提条件中的 $P(T<\infty)=1$ 并不代表着 $E(T)<\infty$。比如我们这么构造停时为 $i$ 的概率：$P(T=i)=p_i=\frac{6}{\pi^2}\cdot \frac{1}{i^2}$，显然 $\sum_{i\geq 0}p_i$ 收敛于 $1$，所以 $P(T<\infty)=1$。但如果我们要求 $E(T)=\sum_{i\geq 0}p_ii=\frac{6}{\pi^2}\sum_{i\geq 0}\frac{1}{i}$，会发现它并不收敛，而是发散的。

讲一个应用的例子吧：

CF1349D Slime and Biscuits

题意：

有 $n$ 个人，每个人拥有 $A_i$ 块饼干。

每次随机将一块饼干等概率分给除了其所有者以外的人。

求第一次出现有一个人拥有所有饼干的所需的期望次数。

做法：

停时与 $a$ 序列有关，我们考虑构造一个鞅，同时携带了 $A$ 序列和时间这两个信息。

我们大胆地猜想，我们可以构造一个关于 $A$ 序列的函数 $F(A)$ 使得 $Y_t=F(A_t)+t$ 为鞅。进一步的猜想是令 $F(A)=\sum_{i=1}^nf(a_i)$。

那么我们就需要满足：

$$E(Y_{t+1}-Y_t|A_t)=0$$

展开后得到：

$$1+\sum_{i=1}^n\left(\frac{m-A_{t,i}}{m}\cdot \frac{n-2}{n-1}-1\right)f(A_{t,i})+\frac{A_{t,i}}{m}f(A_{t,i}-1)+\frac{m-A_{t,i}}{m}\cdot \frac{1}{n-1}f(A_{t,i}+1)=0$$

一个技巧是把 $1$ 拆到里面去：

$$\sum_{i=1}^n\left(\frac{m-A_{t,i}}{m}\cdot \frac{n-2}{n-1}-1\right)f(A_{t,i})+\frac{A_{t,i}}{m}f(A_{t,i}-1)+\frac{m-A_{t,i}}{m}\cdot \frac{1}{n-1}f(A_{t,i}+1)+\frac{A_{t,i}}{m}=0$$

注意到这个式子对于 $A_t$ 为任意序列都成立，所以为了不失一般性，我们应该令：

$$\left(\frac{m-x}{m}\cdot \frac{n-2}{n-1}-1\right)f(x)+\frac{x}{m}f(x-1)+\frac{m-x}{m}\cdot \frac{1}{n-1}f(x+1)+\frac{x}{m}=0$$

对于任意的 $x\in[0,m]$。

解出 $f$ 即可，可以做到 $O(m)$。那么 $E(T)=E(F(A_T)+T)-E(F(A_T))=E(Y_T)-E(F(A_T))=E(Y_0)-E(F(A_T))$.

至于为什么这个鞅能用鞅的停时定理，我们可以发现它满足 $E(|Y_{t+1}-Y_t|)$ 有界，但 $E(T)<\infty$ 这个我不会证。（但既然题目都让你求它了那它肯定就是有限的）