应用随机过程 | 期末知识点总结

这篇博客是「应用随机过程」的知识点总结。

本站相关博客：

• 应用随机过程 | 期末 cheat sheet
• 凸优化 | 期末复习笔记存档
• 概率图 | 两次小测的笔记存档
• 其他课程笔记

特别鸣谢：

• 知乎 | 九一居士 |《应用随机过程》课程笔记系列

---

目录

• 1 马尔可夫链的计算题
• 2 常返的马尔可夫链
• 3 连续时间参数的马尔可夫链
• 4 泊松过程
• 5 鞅
• 6 布朗运动的鞅
• 7 伊藤公式

---

1 马尔可夫链的计算题

题型：

• 不变分布：$\pi P=\pi$，求 π。
• 求 $P(X_1=3,X_2=4,X_3=2)$ 。
  • 原式 $=\sum _{i\in S}P(X_0=i,X_i=3,\cdots )=\sum _{i\in S}\mu (i)p_{i3}\cdot (p_{34}{p}_{42})$ 。
• ① 求 $\underset{n\to \mathrm{\infty }}{lim}P[X_i],i=\{1,2,3,4\}$ 。② 求 $\underset{n\to \mathrm{\infty }}{lim}\frac{1}{n}\sum _{j=0}^{n-1}f(X_j)$ 。
  • 先求 不变分布 $\pi P=\pi$ ，
  • 然后，不难验证 X 不可约非周期（$p_{11}^{(1)}>0,p_{11}^{(2)}>0$），
  • 所以，① 极限分布即为不变分布，② 原式 $\sum _{i\in S}f(i)\cdot \underset{n\to \mathrm{\infty }}{lim}\frac{1}{n}\sum _{j=0}^{n-1}I\{X_j=i\}$，所以 $=\sum _{i\in S}f(i){\pi }_i$ 。

2 常返的马尔可夫链

一些辅助定义：

• 首达时：从 i 出发首次到达 j 的时间，定义为 $T_{ij}=\underset{n\ge 1}{min}\{n:X_n=j,X_0=i\}$。若到达不了 j，则是无穷。
• 首达概率：从 i 出发经 n 步首次到达 j 的概率，定义为 $f_{ij}^{(n)}=P(T_{ij}=n|X_0=i)$ $=P(X_n=j,X_k\ne j,1\le k\le n-1|X_0=i)$ 。
• 有限步首达概率：从 i 出发经有限步首次到达 j 的概率，定义为 $f_{ij}=\sum _{n=1}^{\mathrm{\infty }}{f}_{ij}^{(n)}$ 。
• 平均回转时间：从 i 出发再回到 i 的平均时间，${\mu }_i=E{T}_{ii}=\sum _{n=1}^{\mathrm{\infty }}n{f}_{ii}^{(n)}$ 。

常返：

• 常返：从状态 i 出发，最终返回状态 i 的概率是 1，但期望返回时间 $E(T_{ii})$ 可以为正无穷（零常返）。
• 正常返：从状态 i 出发，最终返回状态 i 的概率是 1，且期望返回时间 $E(T_{ii})$ 有限。
• 常返 / 正常返条件：
  • 常返状态：
    • $f_{ii}=\sum _{n=1}^{\mathrm{\infty }}{f}_{ii}^{(n)}=1$ ，即总能回到状态 i 。
    • $G_{ii}=\sum _{n=0}^{\mathrm{\infty }}{p}_{ii}^{(n)}=1/(1-f_{ii})=\mathrm{\infty }$ ，发散 / 不收敛。
  • 正常返状态：
    • ${\nu }_i=1/{\mu }_i=1/E{T}_{ii}>0$ ，即 $E{T}_{ii}<\mathrm{\infty }$ ，返回时间的期望是有限的。
    • i 已经是常返状态，且 $\underset{n\to \mathrm{\infty }}{lim}{p}_{ii}^{(n)}=1/{\mu }_i=1/E{T}_{ii}>0$ ，即返回时间的期望是有限的。
    • $\underset{n\to \mathrm{\infty }}{lim}{p}_{ii}^{(n)}=1/E{T}_{ii}$ ：因为在长期内，状态 i 被访问的频率与其期望返回时间成反比。
  • 零常返状态：
    • ${\nu }_i=1/{\mu }_i=1/E{T}_{ii}=0$ ，即 $E{T}_{ii}=\mathrm{\infty }$ ，返回时间的期望是无穷。
    • i 已经是常返状态，且 $\underset{n\to \mathrm{\infty }}{lim}{p}_{ii}^{(n)}=0$ ，即返回时间的期望是无穷。

题型：

• 0 →1 → … → n → 0 的常返，使用 $f_{00}=\sum f_{00}^{(n)}=1$，写出每条最终返回 0 的轨迹 + 马尔科夫链显然不可约。
• 随机游走的常返【背过】。

3 连续时间参数的马尔可夫链

必要的定义：

• Q 矩阵：
  • $q_i=-q_{ii}$，表示转移出状态 i 的速率。$q_{ii}$ 是小于等于 0 的数，因为如果 t 时刻的 X = i，t + Δt 时刻的 X 肯定会往外转移（小于等于 0），而非继续往 X 转移（大于 0）。所以，Q 矩阵的对角线元素应该都是负的。
  • Q 矩阵每一行加起来 = 0。离散马尔可夫的 P 矩阵每一行加起来 = 1。
  • （ $P[inft,X_t\ne X_0|X_0=i]=e^{-q_{i}t}$ ，这是转移走的时间的分布；保留在 X = i 的期望时间长度是 $1/q_i$ ，保留的期望概率是指数分布 $1-e^{-q_{i}t}$，如果 X ≠ i 了，那么转移去状态 j 的概率是 $q_{ij}/q_i$ 。
• K 向前方程：$P^{\prime }(t)=P(t)Q$（P 在前面），向后方程：$P^{\prime }(t)=QP(t)$（P 在后面）。

题型：

• 证明 K 向前方程：

• $$\begin{gathered} \underset{h\to 0}{lim}\frac{P(t+h)-P(t)}{h}=\underset{h\to 0}{lim}\frac{P(t)[P(h)-I]}{h} \\ =P(t)\underset{h\to 0}{lim}\frac{P(h)-I}{h}=P(t)Q \end{gathered}$$

• 证明 K 向后方程：

• $$\begin{gathered} \underset{h\to 0}{lim}\frac{P(t+h)-P(t)}{h}=\underset{h\to 0}{lim}\frac{[P(h)-I]P(t)}{h} \\ =\underset{h\to 0}{lim}\frac{P(h)-I}{h}P(t)=QP(t) \end{gathered}$$

• 证明（好像是任意）连续时间参数的马尔科夫链 一致连续：【背过】

  • 需要证明的结论：$P_{ij}(t+h)-P_{ij}(t)\le 1-P_{ii}(h),P_{ij}(t+h)-P_{ij}(t)\ge -[1-P_{ii}(h)]$ 。

  • 证 ≤：

  • $$\begin{gathered} P_{ij}(t+h)-P_{ij}(t)=\sum _{k\in S}{P}_{ik}(h)P_{kj}(t)-P_{ij}(t) \\ =\sum _{k\ne i}{P}_{ik}(h)P_{kj}(t)-P_{ij}(t)[1-P_{ii}(h)] \end{gathered}$$

  • 此时，第一项 ≥ 0，第二项也 ≥ 0。放掉第二项，式子会变大；放掉第一项，式子会变小。

  • 放掉第二项：原式 $\le \sum _{k\ne i}{P}_{ik}(h)P_{kj}(t)\ge \sum _{k\ne i}{P}_{ik}(h)=1-P_{ii}(h)$，得证。

  • 证 ≥：

  • 放掉第一项：原式 $\ge -P_{ij}(t)[1-P_{ii}(h)]\ge -1-P_{ii}(h)$，得证。

• 定义 ${\tau }_i=inf\{t:t>-,X_t\ne X_0\}$ ，即在状态 $X_0$ 停留的时间。有 $P[{\tau }_1>t|X_0=0]=e^{-\lambda t}$，$P[{\tau }_1>t|X_0=1]=e^{-\mu t}$ （状态空间 $S=\{0,1\}$ ）。写出 K 向前方程，并求解得到表达式。

  • 立得 $q_0=\lambda ,q_1=\mu$ 。写出 K 向前方程：

  • $$\left[\begin{array}{cc}{p}_{00}^{\prime }(t)& p_{01}^{\prime }(t)\\ p_{10}^{\prime }(t)& p_{11}^{\prime }(t)\end{array}\right]=\left[\begin{array}{cc}{p}_{00}(t)& p_{01}(t)\\ p_{10}(t)& p_{11}(t)\end{array}\right]\cdot \left[\begin{array}{cc}-\lambda & \lambda \\ \mu & -\mu \end{array}\right]$$

  • 然后展开，进行微分方程求解。进行替换，$p_{01}(t)=1-p_{00}(t)$，$p_{10}(t)=1-p_{11}(t)$。最后求解的形式为：

  • $$\begin{gathered} p_{00}(t)=\frac{\lambda }{\lambda +\mu }{e}^{-(\lambda +\mu )t}+\frac{\mu }{\lambda +\mu } \\ {p}_{11}(t)=\frac{\mu }{\lambda +\mu }{e}^{-(\lambda +\mu )t}+\frac{\lambda }{\lambda +\mu } \end{gathered}$$

4 泊松过程

泊松过程：

• 泊松过程是一个增量过程，写作 $\{N_t:t\ge 0\}$ ，其中 $P(N_{s+t}-N_s=k)=P(N_t=k)=\frac{(\lambda t{)}^k}{k!}{e}^{-\lambda t}$ ；即， $\sim P(\lambda t)$ 。

• 定义 $S_n=inf\{t:N_t\ge n\}$ 为第 n 个事件发生的时刻。

• 得到 $S_n$ 的分布函数：$P(S_n\le t)=P(N_t\ge n)=1-P(N_t\le n-1)=1-\sum _{k=0}^{n-1}\frac{(\lambda t{)}^k}{k!}{e}^{-\lambda t}$ 。

• $S_n$ 的概率密度：$f_{s_n}(t)=\frac{\lambda (\lambda t{)}^{n-1}}{(n-1)!}{e}^{-\lambda t}{I}_{(t\ge 0)}$ 。（直接求导，两两相消最后只剩一项）

• 相邻事件的时间间隔 $X_n=S_n-S_{n-1}$ ，是 $\sim 1-e^{-\lambda x}$ 的 λ 的指数分布。（泊松过程充要条件）

题型：

• 求 $S_n$ 的分布函数、概率密度【背过】。
• 求 $(S_1,S_2)$ 的联合概率密度（用 [h,h] 的正方形把 $(S_1,S_2)$ 圈起来计算概率），并证明 $S_1,S_2-S_1$ 独立。【背过】

5 鞅

必要的知识：

• 鞅的定义：① $E|X_n|<\mathrm{\infty }$ 绝对值期望有限，② $E(X_{n+1}|Y_0,\cdots ,Y_n)=X_n$ 鞅性。

• （$X_n$ 是鞅，$T$ 是停时。）

• 停时定理 1：满足 ① $P(T<\mathrm{\infty })=1$ 停时有限，② $E(\underset{n\ge 0}{sup}|X_{T\wedge n}|)<\mathrm{\infty }$ 即 X_{停时 和 n 的最小值} 的上界 有限，则 $E{X}_T=E{X}_0$ 。【貌似常用】

  • 停时定理 2：满足 ① $ET<\mathrm{\infty }$ 停时的期望有限，② 存在 $b<\mathrm{\infty }$ 使得 $E(|X_{n+1}-X_n||X_0,\cdots ,X_n)\le b$ ，则 $E{X}_T=E{X}_0$ 。

  • 停时定理 3：满足 ① $P(T<\mathrm{\infty })=1$ 停时有限，② 是鞅的随机过程 $E|X_T|<\mathrm{\infty }$ 绝对值有限，③ $\underset{n\to \mathrm{\infty }}{lim}E|X_n{\mathbf{1}}_{\{T>n\}}|=0$ 即 n → 无穷的那部分 |Xn| 求和趋于 0，则 $E{X}_T=E{X}_0$ 。

• 上穿不等式：

  • （在需要背过答案的题 鞅收敛定理 $P[\underset{n\to \mathrm{\infty }}{lim}{X}_n=X_{\mathrm{\infty }}]=1$ 出现，背过即可）

  • $V^{(n)}(a,b)$ 是 $\{X_0,\cdots ,X_n\}$ 上穿 (a,b) 的次数，上穿的意思就是从 a 下面钻到了 b 上面。

  • 若 $X_n$ 关于 $Y_n$ 是下鞅（鞅是下鞅），有

  • $$E[V^{(n)}(a,b)]\le \frac{E(X_n-a{)}^{+}-E(X_0-a{)}^{+}}{b-a}\le \frac{E{X}_n^{+}+|a|}{b-a}$$

  • 其中 $a^{+}=max(a,0)$，就是 ReLU（）

题型：

• 用定义证明鞅。
• 鞅收敛定理 $P[\underset{n\to \mathrm{\infty }}{lim}{X}_n=X_{\mathrm{\infty }}]=1$ ：使用上穿不等式。【背过】
• 对随机游走，证明往左右走的概率 p = 1/2 时，走到 a 或 b 的停时的 $ET=|a|b$ 。【背过好了】

6 布朗运动的鞅

布朗运动：

• 连续时间，连续状态空间。
• $X_t\sim N(0,t)$，满足正态分布。有增量独立性。
• 正态分布的概率密度： $p(x)=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp (-\frac{x^2}{2{\sigma }^2})$ 。
• 期望和协方差：$E{B}_t=0,E[B_s{B}_t]=s\wedge t$。
• $\frac{1}{\sqrt{\lambda }}{B}_{\lambda t},tB(\frac{1}{t})$ 都是布朗运动。证明好像是：正态过程 + 轨道连续 + 期望和协方差。

题型：

• 布朗运动的联合概率密度：使用增量独立性。

  • 布朗运动相加：直接说满足正态分布，求期望（0）方差（使用协方差）。
  • 联合概率密度：先写各个独立增量的联合分布，然后变量代换。我不会搞矩阵那一套。

• 证明布朗运动的鞅（是连续鞅，而非离散鞅）：

  • $B_t$ 显然，使用增量独立性。
  • $B_t^2-t$ ，按鞅的定义写开即可。要改成 $E(X_{t_{n+1}}|B_{t_1},\cdots ,B_{t_n})$，下标是连续时间。
  • $\exp (\lambda B_t-{\lambda }^{2}t/2)$：
    • 验证绝对值有限：使用正态分布的概率密度，积分 + 写开，发现 = 1。
    • 验证鞅性：写开，需要用到 $E[\exp (\lambda B_t)]=\exp ({\lambda }^{2}t/2)$ 的结论。【背过】（推导方法是积分 + 写开）

• 布朗运动的停时：

  • 学习例题，背诵。普通布朗运动、带漂移的布朗运动。【背过】
  • 带漂移的布朗运动 $X(t)=B(t)+\mu t$ 的常用鞅：$V(t)=\exp (-2\mu X(t))$。【背过】

• 均方收敛：

• 给定 $t>0,\mathrm{\forall }0=t_0<t_1<\cdots <t_n=t$，记 $\lambda =max\{t_{i+1}-t_i\}$，证明

• $$\underset{\lambda \to 0}{lim}{|\sum _{i=0}^{n-1}(B_{t_{i+1}}-B_{t_i}{)}^2-t|}^2=0$$

• 证明：背诵九一居士，直接放缩即可。

  • 首先变量代换，$X_i=B_{t_i}-B_{t_{i-1}}$ 。有 $E(X_i{)}^2=t_i-t_{i-1},E(X_i{)}^4=3(t_i-t_{i-1}{)}^2$ 。
  • 然后写开，会有一个 $\sum _{i=1}^{n}3(t_i-t_{i-1}{)}^2$ 和一个 $\sum _{i<j}(t_i-t_{i-1})(t_j-t_{j-1})$ ，把前者（系数为 3 的）提出一个来，跟后面凑平方，剩下两个拿 λ 放掉，放成 $2\lambda t\to 0$。

7 伊藤公式

貌似讲伊藤公式很清楚的视频：https://www.bilibili.com/video/BV1qZ4y1V7oR/

伊藤公式：

$$\begin{gathered} Y(t)=f(t,x(t))=f(t,B_t) \\ dY=\frac{\partial f}{\partial t}dt+\frac{\partial f}{\partial x}d{B}_t+\frac{1}{2}\frac{{\partial }^{2}f}{\partial x^2}dt \end{gathered}$$

题型 1：证明题，直接构造 $f(t,B_t)$ 。

题型 2：求 $X_t={\int }_0^{t}f(s)B_{s}ds$ 的概率分布。

• 首先，$X_t$ 是正态分布，因此计算 μ 和 σ²。

• $E{X}_t=0$，因为 Fubini 定理（？）直接写出积分形式，然后 = 0 即可。

• $E{X}_t^2$ ：

• $$\begin{gathered} E{X}_t^2=E{X}_t{X}_t={\int }_0^t{\int }_0^{t}f(u)f(v)E{B}_u{B}_{v}dudv \\ ={\int }_0^t{\int }_0^{t}f(u)f(v)(u\wedge v)dudv \\ ={\int }_0^{t}f(u)du[{\int }_0^{u}vf(v)dv+{\int }_u^{t}uf(v)dv] \end{gathered}$$

• $E{B}_u{B}_v=u\wedge v$，是因为独立增量。我们假设 $u<v$，这样 $E{B}_u{B}_v=E[B_u^2+B_u(B_v-B_u)]$，第一项根据定义是 u，第二项根据独立增量性质，$B_u$ 和 $B_v-B_u$ 是相互独立的，它们的期望都 = 0，因此第二项 = 0。