应用随机过程09：离散时间鞅

目录

• 第九讲 离散时间鞅
  • 一、离散时间鞅
    • Part 1：初等概率论中的条件期望
    • Part 2：离散时间鞅的引入
    • Part 3：离散时间鞅的定义
  • 二、可选停时定理
    • Part 1：离散时间的随机积分
    • Part 2：停时的定义
    • Part 3：可选停时定理

第九讲 离散时间鞅

一、离散时间鞅

Part 1：初等概率论中的条件期望

鞅是一类重要的理论丰富且应用广泛的随机过程，这里我们对关于鞅的理论做一点补充。首先我们先回顾一下初等概率论中的条件期望的定义和性质。

条件期望的定义：设 \(Y_1,Y_2,\cdots,Y_n\) 都是离散型随机变量，\(X\) 是一个可积的随机变量，对满足

\[P(Y_1=i_1,Y_2=i_2,\cdots,Y_n=i_n)>0 \]

的 \(i_1,i_2,\cdots,i_n\) ，令

\[h(i_1,i_2,\cdots,i_n)={\rm E}(X|Y_1=i_1,Y_2=i_2,\cdots,Y_n=i_n). \]

定义给定 \(Y_1,Y_2,\cdots,Y_n\) 的条件下 \(X\) 的条件期望为

\[\mathrm{E}\left(X|Y_1,Y_2,\cdots,Y_n\right)=h(Y_1,Y_2,\cdots,Y_n), \]

它是关于 \(Y_1,Y_2,\cdots,Y_n\) 的函数。

条件期望的性质：设 \(X\) 与 \(Z\) 均为可积的随机变量，设 \(a,b\) 是常数，则有

• 线性性：

  \[\mathrm{E}(aX+bZ|Y_1,Y_2,\cdots,Y_n)=a\mathrm{E}(X|Y_1,Y_2,\cdots,Y_n)+b\mathrm{E}(Z|Y_1,Y_2,\cdots,Y_n). \]

• 单调性：如果 \(X\leq Z,\ {\rm a.s.}\) ，则

  \[\mathrm{E}(X|Y_1,Y_2,\cdots,Y_n)\leq\mathrm{E}(Z|Y_1,Y_2,\cdots,Y_n). \]

• 如果 \(X\) 是关于 \(Y_1,Y_2,\cdots,Y_n\) 的函数，则 \(\mathrm{E}(X\mid Y_1,Y_2,\cdots,Y_n)=X\) 。

• 如果 \(X\) 是关于 \(Y_1,Y_2,\cdots,Y_n\) 的函数，且 \(XZ\) 可积，则

  \[\mathrm{E}(XZ|Y_1,Y_2,\cdots,Y_n)=X\mathrm{E}(Z|Y_1,Y_2,\cdots,Y_n). \]

• 如果 \(X\) 与 \(Y_1,Y_2,\cdots,Y_n\) 相互独立，则 \(\mathrm{E}(X\mid Y_1,Y_2,\cdots,Y_n)=\mathrm{E}(X)\) 。

• 全期望公式：

  \[\mathrm{E}\left[\mathrm{E}(X|Y_1,Y_2,\cdots,Y_n)\right]=\mathrm{E}(X). \]

• Jensen 不等式：设 \(\phi\) 是凸函数且 \(\phi(X)\) 是可积的，则

  \[\phi\left(\mathrm{E}(X|Y_1,Y_2,\cdots,Y_n)\right)\leq \mathrm{E}(\phi(X)|Y_1,Y_2,\cdots,Y_n). \]

Part 2：离散时间鞅的引入

鞅是公平赌博的一种推广，我们借用一个例子来引出鞅的定义。

首先给出一个简单随机游走模型：设离散型随机变量 \(Y_1,Y_2,\cdots\) 独立同分布，其概率分布列为

\[P(Y_i=1)=p=1-P(Y_i=-1). \]

令 \(S_0=0\) ，对 \(n\geq 1\) ，令 \(S_n=Y_1+Y_2+\cdots+Y_n\) ，则 \(\{S_n\}\) 就是 \(\mathbb{Z}\) 上的简单随机游动，且显然 \(\{S_n\}\) 是平稳独立增量过程，是离散时间离散状态的马尔可夫链。

在一场赌博中，用 \(Y_i\) 表示第 \(i\) 次甲赢的钱数，并且设赌局开始时甲带了 \(0\) 元钱，则 \(S_n\) 表示经过 \(n\) 次赌博后甲口袋里的钱数。显然对甲而言，如果 \(p>0.5\) ，则该赌博对甲有利；如果 \(p<0.5\) ，则该赌博对甲不利；如果 \(p=0.5\) ，则该赌博是公平的。

如果已知前 \(n\) 次赌博之后甲口袋里的钱数情况，考虑下一次赌博后甲口袋里的平均钱数。用这个平均钱数与前 \(n\) 次甲口袋里的钱数作比较，如果增加则说明对甲有利，如果减少则说明对甲不利，如果不变则说明该赌博公平。

这个问题可以用条件期望来刻画：

\[\begin{aligned} {\rm E}(S_{n+1}\mid S_0,S_1,\cdots,S_n)&={\rm E}(S_{n}+Y_{n+1}\mid S_0,S_1,\cdots,S_n) \\ \\ &=S_n+{\rm E}(Y_{n+1}) \\ \\ &=S_n+2p-1. \end{aligned} \]

由于 \(p\) 的取值不同，会造成以下三种不同的结果：

• 当 \(p\geq0.5\) 时，对 \(\forall n\geq1\) 都有 \({\rm E}(S_{n+1}\mid S_0,S_1,\cdots,S_n)\geq S_n\) ，此时称 \(\{S_n\}\) 为下鞅。

• 当 \(p\leq0.5\) 时，对 \(\forall n\geq1\) 都有 \({\rm E}(S_{n+1}\mid S_0,S_1,\cdots,S_n)\leq S_n\) ，此时称 \(\{S_n\}\) 为下鞅。

• 当 \(p=0.5\) 时，对 \(\forall n\geq1\) 都有 \({\rm E}(S_{n+1}\mid S_0,S_1,\cdots,S_n)= S_n\) ，此时称 \(\{S_n\}\) 为鞅。

直观地说，下鞅对己方有利或公平，上鞅对己方不利或公平，鞅则对应于公平赌博。

Part 3：离散时间鞅的定义

在公平赌博的基础上，我们给出离散时间鞅的定义，并结合以下的例子逐步理解。

离散时间鞅的定义：设 \(X=\{X_n:n\geq0\}\) 和 \(Y=\{Y_n:n\geq0\}\) 是两个随机过程，且对 \(\forall n\geq0\) 都有 \(X_n\) 可积。如果对 \(\forall n\geq0\) ，都有 \(X_n\) 是 \(Y_0,Y_1,\cdots,Y_n\) 的函数，则称 \(X\) 关于 \(Y\) 适应。如果对 \(\forall n\geq0\) ，都有

\[{\rm E}(X_{n+1}\mid Y_0,Y_1,\cdots,Y_n)=(\leq,\geq)X_n, \]

则称 \(X=\{X_n\}\) 是关于 \(Y=\{Y_n\}\) 的鞅 \((\)上鞅 \(,\) 下鞅\()\) 。

独立随机变量之和：设 \(Y_0,Y_1,Y_2,\cdots\) 相互独立，\(Y_0=0,\ {\rm E}(Y_n)=\mu_n\) 。对 \(\forall n\geq0\) ，令

\[S_n=Y_0+Y_1+\cdots+Y_n, \]

则对 \(\forall n\geq0\) ，有 \(S_n\) 是 \(Y_0,Y_1,\cdots,Y_n\) 的函数，且有

\[\begin{aligned} {\rm E}(S_{n+1}\mid Y_0,Y_1,\cdots,Y_n)&={\rm E}(S_{n}+Y_{n+1}\mid Y_0,Y_1,\cdots,Y_n) \\ \\ &=S_n+{\rm E}(Y_{n+1}) \\ \\ &=S_n+\mu_{n+1}. \end{aligned} \]

所以有以下结论：

(1) 随机过程 \(\{S_n\}\) 是关于 \(\{Y_n\}\) 的鞅 \(\iff\) \({\rm E}(Y_n)=0\) 对 \(\forall n\geq1\) 成立。

(2) 随机过程 \(\{S_n\}\) 是关于 \(\{Y_n\}\) 的下鞅 \(\iff\) \({\rm E}(Y_n)\geq0\) 对 \(\forall n\geq1\) 成立。

(3) 随机过程 \(\{S_n\}\) 是关于 \(\{Y_n\}\) 的上鞅 \(\iff\) \({\rm E}(Y_n)\leq0\) 对 \(\forall n\geq1\) 成立。

独立随机变量乘积：设 \(Y_0,Y_1,Y_2,\cdots\) 相互独立且取值为正，\(Y_0=1,\ {\rm E}(Y_n)=\mu_n\) 。对 \(\forall n\geq0\) ，令

\[S_n=Y_0\cdot Y_1\cdot\cdots\cdot Y_n, \]

则对 \(\forall n\geq0\) ，有 \(S_n\) 是 \(Y_0,Y_1,\cdots,Y_n\) 的函数，且有

\[\begin{aligned} {\rm E}(S_{n+1}\mid Y_0,Y_1,\cdots,Y_n)&={\rm E}(S_{n}\cdot Y_{n+1}\mid Y_0,Y_1,\cdots,Y_n) \\ \\ &=S_n\cdot{\rm E}(Y_{n+1}) \\ \\ &=\mu_{n+1}S_n. \end{aligned} \]

由于 \(S_n>0\) ，所以有以下结论：

(1) 随机过程 \(\{S_n\}\) 是关于 \(\{Y_n\}\) 的鞅 \(\iff\) \({\rm E}(Y_n)=1\) 对 \(\forall n\geq1\) 成立。

(2) 随机过程 \(\{S_n\}\) 是关于 \(\{Y_n\}\) 的下鞅 \(\iff\) \({\rm E}(Y_n)\geq1\) 对 \(\forall n\geq1\) 成立。

(3) 随机过程 \(\{S_n\}\) 是关于 \(\{Y_n\}\) 的上鞅 \(\iff\) \({\rm E}(Y_n)\leq1\) 对 \(\forall n\geq1\) 成立。

离散时间鞅的性质：设 \(X=\{X_n\}\) 和 \(Y=\{Y_n\}\) 是两个随机过程，\(X\) 关于 \(Y\) 适应，且对 \(\forall n\geq0\) 都有 \(X_n\) 可积，则有

1. \(X\) 是关于 \(Y\) 的下鞅 \(\iff\) \(-X\) 是关于 \(Y\) 的上鞅。

2. \(X\) 是关于 \(Y\) 的鞅 \(\iff\) \(X\) 是关于 \(Y\) 的上鞅，且 \(X\) 是关于 \(Y\) 的下鞅。

3. 鞅全体是线性空间。

4. 若 \(X\) 是关于 \(Y\) 的下鞅，则 \({\rm E}(X_n)\) 是关于 \(n\) 单调递增函数；

   若 \(X\) 是关于 \(Y\) 的鞅，则 \({\rm E}(X_n)\) 是关于 \(n\) 的常值函数。

5. 设 \(X\) 是关于 \(Y\) 的鞅，\(\phi\) 是凸函数且 \(\phi(X_n)\) 可积，则 \(\{\phi(X_n)\}\) 是关于 \(Y\) 的下鞅。

   特别地，\(\{|X_n|\}\) 和 \(\{X_n^2\}\) 若可积，则是关于 \(Y\) 的下鞅。

6. 设 \(X\) 是关于 \(Y\) 的下鞅，\(\phi\) 是单调递增凸函数且 \(\phi(X_n)\) 可积，则 \(\{\phi(X_n)\}\) 是关于 \(Y\) 的下鞅。

这里我们对性质 5 和性质 6 进行简单的证明：

对 \(\forall n\geq0\) ，有 \(\phi(X_n)\) 是 \(Y_0,Y_1,\cdots,Y_n\) 的函数，又因为 \(\phi\) 是凸函数，由 Jensen 不等式可知

\[{\rm E}\left(\phi(X_{n+1})\mid Y_0,Y_1,\cdots,Y_n\right)\geq\phi({\rm E}\left(X_{n+1}\mid Y_0,Y_1,\cdots,Y_n\right)). \]

性质 5 ：设 \(X\) 是关于 \(Y\) 的鞅，则有

\[{\rm E}\left(\phi(X_{n+1})\mid Y_0,Y_1,\cdots,Y_n\right)\geq\phi({\rm E}\left(X_{n+1}\mid Y_0,Y_1,\cdots,Y_n\right))=\phi(X_n). \]

由此可以推得 \(\{\phi(X_n)\}\) 是关于 \(Y\) 的下鞅。

性质 6 ：设 \(X\) 是关于 \(Y\) 的下鞅，且有 \(\phi\) 单调递增，所以

\[{\rm E}\left(\phi(X_{n+1})\mid Y_0,Y_1,\cdots,Y_n\right)\geq\phi({\rm E}\left(X_{n+1}\mid Y_0,Y_1,\cdots,Y_n\right))\geq\phi(X_n). \]

由此可以推得 \(\{\phi(X_n)\}\) 是关于 \(Y\) 的下鞅。

二、可选停时定理

Part 1：离散时间的随机积分

这里我们需要引入一个随机积分的概念，这个在离散时间的情况下看上去有点难以理解。

设 \(Y=\{Y_n:n\geq0\}\) 是一个随机过程， 如果对 \(\forall n\geq1\) ，都有 \(H_n\) 是 \(Y_n,Y_1,\cdots,Y_n\) 可测的，即

\[H_n\in\sigma\{Y_0,Y_1,\cdots,Y_n\} \]

则称随机过程 \(H=\{H_n:n\geq1\}\) 是关于 \(Y\) 可预测的。

设 \(X=\{X_n:n\geq0\}\) 是关于 \(Y\) 适应的，设 \(H=\{H_n:n\geq1\}\) 是关于 \(Y\) 可预测的，定义一个初始值为 \(X_0\) 的随机过程 \(Z=\{Z_n:n\geq0\}\) ，满足

\[Z_n=Z_{n-1}+H_n(X_n-X_{n-1}),\quad n\geq1, \]

则称过程 \(Z\) 是过程 \(H\) 关于过程 \(X\) 的随机积分。

鞅基本定理：设 \(X=\{X_n:n\geq0\},\ Y=\{Y_n:n\geq0\},\ H=\{H_n:n\geq1\}\) 是三个随机过程，且有 \(X\) 是关于 \(Y\) 适应的，\(H\) 是关于 \(Y\) 可预测的。令过程 \(Z=\{Z_n:n\geq0\}\) 是过程 \(H\) 关于过程 \(X\) 的随机积分，即

\[Z_n=Z_{n-1}+H_n(X_n-X_{n-1})=X_0+\sum_{i=1}^nH_i(X_i-X_{i-1}),\quad n\geq1. \]

假设对 \(\forall n\geq0\) ，都有 \(Z_n\) 可积，则有：

(1) 如果 \(X\) 是关于 \(Y\) 的鞅，则 \(Z\) 也是关于 \(Y\) 的鞅。

(2) 如果 \(X\) 是关于 \(Y\) 的下鞅，且 \(H\) 非负，则 \(Z\) 也是关于 \(Y\) 的下鞅。

注意：如果 \(X\) 可积且对 \(\forall n\geq1\) ，都有 \(H_n\) 有界，则 \(Z_n\) 一定可积。

对 \(\forall n\geq0\) ，由 \(Z_n\) 的定义

\[Z_n=X_0+\sum_{i=1}^nH_i(X_i-X_{i-1}), \]

显然 \(Z_n\) 是 \(Y_0,Y_1,\cdots,Y_n\) 的函数，或可以理解为 \(Z_n\in \sigma\{Y_0,Y_1,\cdots,Y_n\}\) ，且有

\[\begin{aligned} {\rm E}(Z_{n+1}\mid Y_0,Y_1,\cdots,Y_n)&={\rm E}(Z_{n}+H_{n+1}(X_{n+1}-X_n)\mid Y_0,Y_1,\cdots,Y_n) \\ \\ &=Z_n+H_{n+1}{\rm E}\left(X_{n+1}-X_n\mid Y_0,Y_1,\cdots,Y_n\right) \\ \\ &=Z_n+H_{n+1}\left[{\rm E}\left(X_{n+1}\mid Y_0,Y_1,\cdots,Y_n\right)-X_n\right]. \end{aligned} \]

如果 \(X\) 是鞅，则对 \(\forall n\geq0\) ，都有 \({\rm E}(Z_{n+1}\mid Y_0,Y_1,\cdots,Y_n)=Z_{n}\) ，所以 \(Z\) 是鞅。

如果 \(X\) 是下鞅且 \(H\) 非负，则对 \(\forall n\geq0\) ，都有 \({\rm E}(Z_{n+1}\mid Y_0,Y_1,\cdots,Y_n)\geq Z_{n}\) ，所以 \(Z\) 是下鞅。

Part 2：停时的定义

停时是停止时间的简称，是一种特殊的随机变量，指具有某种与将来无关性质的随机时刻。

停时的定义：设 \(Y=\{Y_n:n\geq0\}\) 是随机过程，随机变量 \(\tau\) 取值为非负整数，且对 \(\forall n\geq0\) ，如果事件 \(\{\tau=n\}\) 由随机变量 \(Y_0,Y_1,\cdots,Y_n\) 决定，若 \(P(\tau<\infty)=1\) ，则称 \(\tau\) 是关于 \(Y\) 的停时。

停止过程的定义：设 \(Y=\{Y_n:n\geq0\}\) 是随机过程，设 \(\tau\) 是关于 \(Y\) 的停时，定义

\[Y^\tau_n=\left\{\begin{array}{ll} Y_n , & n\leq \tau, \\ \\ Y_\tau , & n>\tau, \end{array}\right. \]

则称随机过程 \(Y^\tau=\{Y^\tau_n:n\geq0\}\) 为 \(Y\) 的停止过程。

注意：停止过程还可以等价地表示为随机积分的形式：

\[Y_n^\tau=Y_{\tau\wedge n}=\sum_{k=0}^{n-1}Y_k\bold1_{\{\tau=k\}}+Y_n\bold1_{\{\tau\geq n\}}. \]

令 \(H_n=\boldsymbol1_{\{\tau\geq n\}},\ n\geq 1\) ，则 \(H=\{H_n:n\geq1\}\) 非负，且 \(H\) 是关于 \(Y\) 可预测的，于是 \(Y^\tau\) 是 \(H\) 关于 \(Y\) 的随机积分。

定理：设 \(\tau\) 是关于 \(Y=\{Y_n:n\geq0\}\) 的停时，\(Y^\tau=\{Y^\tau_n:n\geq0\}\) 是 \(Y\) 的停止过程.

(1) 如果 \(Y\) 是关于 \(Y\) 自身的鞅，即对 \(\forall n\geq0\) ，都有 \({\rm E}(Y_{n+1}\mid Y_0,Y_1,\cdots,Y_n)=Y_n\) ，则停止过程 \(Y^\tau\) 也是关于 \(Y\) 的鞅。

(2) 如果 \(Y\) 是关于 \(Y\) 自身的下鞅，即对 \(\forall n\geq0\) ，都有 \({\rm E}(Y_{n+1}\mid Y_0,Y_1,\cdots,Y_n)\geq Y_n\) ，则停止过程 \(Y^\tau\) 也是关于 \(Y\) 的下鞅。

由随机积分的定义，停止过程的随机积分形式还可以改写为

\[Y_{n}^\tau=Y^\tau_{n-1}+\boldsymbol1_{\{\tau\geq n\}}(Y_{n}-Y_{n-1}),\quad n\geq1. \]

于是有

\[\begin{aligned} {\rm E}(Y_n^\tau\mid Y_0,Y_1,\cdots,Y_{n-1})&={\rm E}(Y^\tau_{n-1}+\boldsymbol1_{\{\tau\geq n\}}(Y_{n}-Y_{n-1})\mid Y_0,Y_1,\cdots,Y_{n-1}) \\ \\ &=Y^\tau_{n-1}+\boldsymbol1_{\{\tau\geq n\}}{\rm E}(Y_{n}-Y_{n-1}\mid Y_0,Y_1,\cdots,Y_{n-1}) \\ \\ &=Y^\tau_{n-1}+\boldsymbol1_{\{\tau\geq n\}}\left[{\rm E}(Y_{n}\mid Y_0,Y_1,\cdots,Y_{n-1})-Y_{n-1}\right]. \end{aligned} \]

由鞅基本定理可知，定理 (1) 和 (2) 均成立。

Part 3：可选停时定理

规定以下简称：如果 \(X\) 是关于 \(X\) 自身的鞅，则简称 \(X\) 是鞅。

可选停时定理：设 \(X\) 是鞅，\(\tau\) 是关于 \(X\) 的停时，\(P(\tau<\infty)=1\) ，且 \(X_\tau\) 可积，则有

\[{\rm E}(X_\tau)={\rm E}(X_0) \quad \iff \quad \lim_{n\to\infty}{\rm E}(X_n\mid\tau>n)=0. \]

由之前定理可知，停止过程 \(X^\tau\) 是关于 \(X\) 的鞅，所以由全期望公式容易证明

\[{\rm E}(X_n^\tau)={\rm E}(X_{\tau\wedge n})={\rm E}(X_0^\tau)={\rm E}(X_0). \]

由此可得

\[\begin{aligned} {\rm E}(X_\tau)-{\rm E}(X_0)&={\rm E}(X_\tau)-{\rm E}(X_{\tau\wedge n}) \\ \\ &={\rm E}(X_\tau\mid\tau>n)+{\rm E}(X_\tau\mid\tau\leq n)-{\rm E}(X_n\mid\tau>n)-{\rm E}(X_\tau\mid\tau\leq n) \\ \\ &={\rm E}(X_\tau\mid\tau>n)-{\rm E}(X_n\mid\tau>n). \end{aligned} \]

因为 \(X_\tau\) 可积且 \(P(\tau<\infty)=1\) ，所以由控制收敛定理，

\[\lim_{n\to\infty}{\rm E}(X_\tau\mid \tau>n)=0. \]

因此

\[{\rm E}(X_\tau)={\rm E}(X_0) \quad \iff \quad \lim_{n\to\infty}{\rm E}(X_n\mid\tau>n)=0. \]