应用随机过程05：泊松过程
第五讲 泊松过程
一、泊松过程的两种定义
Part 1：独立增量与平稳增量
对于任意一个随机过程，我们先了解一下增量的概念，这一概念在泊松过程和布朗运动中都会用到。
设 \(\{X(t):t\in T\}\) 是随机过程，参数空间 \(T\) 是 \(\mathbb{R}\) 的子集，对任意的 \(s<t\) ，将 \(X(t)-X(s)\) 称为此过程在时间区间 \((s,t]\) 上的增量。在此基础上，我们可以定义独立增量过程和平稳增量过程。
独立增量过程：对于随机过程 \(\{X(t):t\in T\}\) ，如果对任意 \(k\geq2\) 和 \(t_0<t_1<t_2<\cdots<t_k\) 有
相互独立，则称 \(\{X(t):t\in T\}\) 为独立增量过程。独立增量过程的特点是：在不相重叠的时间段上，状态的增量是相互独立的。
平稳增量过程：对于随机过程 \(\{X(t):t\in T\}\) ，如果对任意的 \(h\in\mathbb{R}\) 和任意的 \(s<t\) 都有
则称 \(\{X(t):t\in T\}\) 为平稳增量过程。平稳增量过程的特点是：增量 \(X(t)-X(s)\) 的分布仅依赖与时间差 \(t-s\) 而与 \(s\) 和 \(t\) 无关。
平稳独立增量过程：如果随机过程 \(\{X(t):t\in T\}\) 既是独立增量过程，又是平稳增量过程，则称随机过程 \(\{X(t):t\in T\}\) 为平稳独立增量过程。
这里我们需要介绍一条关于独立增量过程的十分有用的性质。
如果 \(\{X(t):t\in T\}\) 是独立增量过程，\(X(0)=0\) 且二阶矩存在，则
证明：当 \(s=t\) 时，等式显然成立。不妨设 \(s<t\) ，则
\[\begin{aligned} C_X(s,t)&={\rm Cov}\left(X(s),X(t)\right) \\ &={\rm Cov}\left[X(s)-X(0),(X(t)-X(s)+X(s)-X(0))\right] \\ &={\rm Cov}\left[X(s)-X(0),X(t)-X(s)\right]+{\rm Var}(X(s)-X(0)) \\ &=\sigma_X^2(s) \ . \end{aligned} \]
Part 2：计数过程与泊松过程
泊松过程是通过计数过程定义的，所以在介绍泊松过程之前，我们先介绍一下计数过程。若 \(N(t)\) 表示到 \(t\) 时刻为止已发生的事件的总数，则称随机过程 \(\{N(t):t\geq0\}\) 为计数过程。计数过程是一个状态空间为非负整数的具有连续时间的随机过程，显然计数过程具有如下性质：
- \(N(t)\geq0\) 且 \(N(t)\) 是整数值；
- 若 \(s<t\) ，则 \(N(s)\leq N(t)\) ；
- 若 \(s<t\) ，则 \(N(t)-N(s)\) 等于区间 \((s,t]\) 中发生的事件的个数。
泊松过程是计数过程的最重要的类型之一，我们可以从两个角度去定义泊松过程。
泊松过程的第一种定义：计数过程 \(\{N(t):t\geq0\}\) 称为参数为 \(\lambda\) 的齐次泊松过程，如果满足以下条件：
- \(N(0)=0\) ；
- \(\{N(t):t\geq0\}\) 是独立增量过程；
- 稀有性：\(P(N(t+h)-N(t)=1)=\lambda h+o(h)\) ；
- 相继性：\(P(N(t+h)-N(t)\geq2)=o(h)\) 。
我们将稀有性和相继性合并在一起理解，其含义是在充分小的时间间隔内，几乎不可能同时发生两个及以上个事件。
回顾一下在数学分析中函数的无穷小量的定义：如果一个函数 \(f(x)\) ，满足
\[\lim_{x\to0}\dfrac{f(x)}{x}=0 \ , \]则称函数 \(f(x)\) 是 \(x\) 的高阶无穷小量，或称函数 \(f(x)\) 是 \(o(x)\) 的。
泊松过程的第二种定义：计数过程 \(\{N(t):t\geq0\}\) 称为参数为 \(\lambda\) 的齐次泊松过程，如果满足以下条件：
- \(N(0)=0\) ；
- \(\{N(t):t\geq0\}\) 是独立增量过程；
- 对任意的 \(0\leq s<t\) ，都有 \(N(t)-N(s)\sim P(\lambda(t-s))\) 。
由此泊松分布条件可知泊松过程也是平稳增量过程，称参数 \(\lambda\) 为泊松过程的速率或强度。
Part 3：泊松过程两种定义的等价性证明
下面我们给出两种定义的等价性证明，这部分内容欣赏即可，不要求掌握。
首先证明 \(\Longleftarrow\)
由第二种定义的泊松分布条件可知 \(N(t+h)-N(t)\sim P(\lambda h)\) ，于是
\[\begin{aligned} P(N(t+h)-N(t)=1)&=\lambda h e^{-\lambda h}=\lambda h(1-\lambda h+o(h))=\lambda h+o(h) \ . \\ \\ P(N(t+h)-N(t)\geq2)&=1-P(N(t+h)-N(t)=0)-P(N(t+h)-N(t)=1) \\ &=1-e^{-\lambda h}-\lambda he^{-\lambda h} \\ &=1-(1-\lambda h+o(h))-\lambda h(1-\lambda h+o(h)) \\ &=o(h) \ . \end{aligned} \]证明中用到了 \(e^x\) 的泰勒展开式，至此我们就证明了第一种定义的稀有性和相继性成立。
下面证明 \(\Longrightarrow\)
这里我们需要引入 \(N(t)\) 的矩母函数。固定 \(u>0\) ，定义 \(\phi_u(t)={\rm E}\left[e^{uN(t)}\right]\) 为 \(N(t)\) 的矩母函数。对任意的 \(h>0\) ，我们推导 \(g(t)\) 的一个微分方程如下：
\[\begin{aligned} \phi_u(t+h)&={\rm E}\left[e^{uN(t+h)}\right] \\ &={\rm E}\left[e^{uN(t)}e^{u(N(t+h)-N(t))}\right] \\ &={\rm E}\left[e^{uN(t)}\right]{\rm E}\left[e^{u(N(t+h)-N(t))}\right] \\ &=\phi_u(t){\rm E}\left[e^{u(N(t+h)-N(t))}\right] \ . \end{aligned} \]其中第三个等号利用了第一种定义中的独立增量性，下面由稀有性和相继性知
\[\begin{aligned} P(N(t+h)-N(t)=0)&=1-\lambda h+o(h) \ , \\ P(N(t+h)-N(t)=1)&=\lambda h+o(h)\ , \\ P(N(t+h)-N(t)\geq2)&=o(h) \ . \\ \end{aligned} \]由全概率公式/全期望公式可知
\[\begin{aligned} {\rm E}\left[e^{u(N(t+h)-N(t))}\right]&=e^0(1-\lambda h+o(h))+e^u(\lambda h+o(h))+\sum_{k=2}^\infty e^{ku}o(h) \\ &=1-\lambda h+o(h)+e^u(\lambda h+o(h))+o(h) \\ &=1-\lambda h+e^u\lambda h+o(h) \ . \end{aligned} \]进而可以得到
\[\phi_u(t+h)=\phi_u(t)(1+\lambda h(e^u-1))+o(h) \ . \]由此推出
\[\frac{\phi_u(t+h)-\phi_u(t)}{h}=\phi_u(t)\lambda(e^u-1))+\frac{o(h)}{h} \ . \]令 \(h\to0\) ，便得到如下微分方程
\[\phi_u'(t)=\phi_u(t)\lambda(e^u-1) \ . \]取初值条件为 \(\phi_u(0)={\rm E}\left[e^{uN(0)}\right]=1\) ，求解得到上述微分方程的解为
\[\phi_u(t)=e^{\lambda t\left(e^u-1\right)} \ . \]由矩母函数和分布函数的相互唯一确定性（拉普拉斯变换的唯一性），我们可以得出 \(N(t)\) 服从均值为 \(\lambda t\) 的泊松分布。由于定义中的独立增量性，即可证明 \(N(t)-N(s)\sim P(\lambda(t-s))\) 。至此我们也证明了第二种定义的泊松分布条件成立。
二、泊松过程的性质
Part 1：数字特征与条件概率
设 \(\{N(t):t\geq0\}\) 是参数为 \(\lambda\) 的齐次泊松过程，则有 \(N(t)\) 服从参数为 \(\lambda t\) 的泊松分布 。由泊松分布的数字特征即可得到如下泊松过程的数字特征。
- 均值函数：\(\mu_N(t)={\rm E}(N(t))=\lambda t\) ；
- 方差函数：\(\sigma_N^2(t)={\rm Var}(N(t))=\lambda t\) ；
- 自协方差函数：\(C_N(s,t)=\lambda\min\{s,t\}=\lambda(s\and t)\) ；
- 自相关函数：\(r_N(s,t)=\lambda(s\and t)+\lambda^2st\) 。
关于泊松过程，我们常常遇到两类条件概率。在已知某一确定时刻的事件发生数目的条件下，一类是求该时刻后某一时刻的给定事件发生数目的条件概率，另一类是求该时刻前某一时刻的给定事件发生数目的条件概率。
- 对于第一类条件概率，只需用独立增量性即可完成计算。不妨设 \(s<t,\,m\leq n\) ，则有
- 对于第二类条件概率，需要用贝叶斯公式完成计算。不妨设 \(s<t,\,m\leq n\) ，则有
Part 2：等待时间与到达时间间隔的分布
对于一个泊松过程，我们将第 \(n\) 个事件到达的时刻记为 \(S_n\) ，也称为直到第 \(n\) 个事件的等待时间。
定理：等待时间 \(S_n\) 服从参数为 \(n\) 和 \(\lambda\) 的 \(\Gamma\) 分布，记为 \(S_n\sim\Gamma(n,\lambda)\) ，其概率密度函数为
我们来证明上述定理。注意到第 \(n\) 个事件在时刻 \(t\) 前发生当且仅当直到 \(t\) 为止发生事件的个数至少是 \(n\) ，用泊松随机变量表示为
\[N(t)\geq n \quad \iff \quad S_n\leq t \ . \]这是一个非常重要的等价命题。因此有
\[F_{S_n}(t)=P(S_n\leq t)=P(N(t)\geq n)=\sum_{j=n}^\infty e^{-\lambda t}\frac{(\lambda t)^j}{j!} \ , \]对 \(t\) 求导可得
\[\begin{aligned} f_{S_n}(t)&=-\sum_{j=n}^\infty\lambda e^{-\lambda t}\frac{(\lambda t)^j}{j!}+\sum_{j=n}^\infty\lambda e^{-\lambda t}\frac{(\lambda t)^{j-1}}{(j-1)!} \\ &=\lambda e^{-\lambda t}\frac{(\lambda t)^{n-1}}{(n-1)!} -\sum_{j=n}^\infty\lambda e^{-\lambda t}\frac{(\lambda t)^j}{j!}+\sum_{j=n+1}^\infty\lambda e^{-\lambda t}\frac{(\lambda t)^{j-1}}{(j-1)!} \\ &=\lambda e^{-\lambda t}\frac{(\lambda t)^{n-1}}{(n-1)!} \ . \end{aligned} \]所以 \(S_n\sim\Gamma(n,\lambda)\) 。
对于一个泊松过程，我们将第一个事件到达的时间记为 \(T_1\) ，对 \(n\geq2\) ，用 \(T_n\) 表示第 \(n-1\) 个事件与第 \(n\) 个事件发生的时间间隔。补充定义 \(S_0=0\) ，容易看出 \(S_n\) 和 \(T_n\) 的关系为
定理：\(\{N(t):t\geq0\}\) 是参数为 \(\lambda\) 的泊松过程当且仅当其到达时间间隔 \(T_1,T_2,\cdots\) 独立同分布且服从参数为 \(\lambda\) 的指数分布。
我们只证明必要性。若\(\{N(t):t\geq0\}\) 是参数为 \(\lambda\) 的泊松过程，我们先计算 \(T_1\) 的分布。注意到事件 \(\{T_1>t\}\) 等价于泊松过程在区间 \((0,t]\) 中没有事件发生，从而
\[F_{T_1}(t)=P(T_1\leq t)=1-P(T_1>t)=1-P(N(t)=0)=1-e^{-\lambda t} \ , \quad t\geq0 \ . \]因此 \(T_1\) 服从参数为 \(\lambda\) 的指数分布。
接下来考虑 \(T_2\) 在给定 \(T_1=s\) 下的条件分布。同样我们可以注意到事件 \(\{T_2>t,T_1=s\}\) 等价于泊松过程在区间 \((s,s+t]\) 中没有事件发生，从而
\[\begin{aligned} F_{T_2|T_1}(t|s)&=P(T_2\leq t|T_1=s) \\ &=1-P(T_2>t|T_1=s) \\ &=1-P(T_2>t,T_1=s|T_1=s) \\ &=1-P(N(s+t)-N(s)=0|T_1=s) \\ &=1-P(N(s+t)-N(s)=0) \\ &=1-e^{-\lambda t} \ , \quad t\geq0 \ . \end{aligned} \]因此 \(T_2\) 与 \(T_1\) 相互独立且服从参数为 \(\lambda\) 的指数分布。
重复同样的推导可得 \(T_1,T_2,\cdots\) 相互独立，且同服从参数为 \(\lambda\) 的指数分布。
Part 3：到达时刻的条件分布
下面我们再介绍一下到达时刻的条件分布。如果已知在 \((0,t]\) 内恰好有 \(n\) 个事件发生，我们想要确定这 \(n\) 个事件发生的时刻的概率分布。首先看恰好有 \(1\) 个事件发生的情况。
定理：设\(\{N(t):t\geq0\}\) 是参数为 \(\lambda\) 的泊松过程。若已知在 \((0,t]\) 内恰好有 \(1\) 个事件发生，则此事件发生的时刻 \(S_1\) 在 \((0,t]\) 内服从均匀分布。
证明条件均匀分布，我们只需要求出 \(S_1\) 的条件分布函数。对任意的 \(0<s\leq t\) 有
\[\begin{aligned} P(S_1\leq s|N(t)=1)&=\frac{P(T_1\leq s,N(t)=1)}{P(N(t)=1)} \\ &=\frac{P(N(s)=1)P(N(t)-N(s)=0)}{P(N(t)=1)} \\ &=\frac{\lambda se^{-\lambda s}\times e^{-\lambda(t-s)}}{\lambda te^{-\lambda t}} \\ &=\frac st \ , \quad 0<s\leq t \ . \end{aligned} \]所以我们有 \(S_1|N(t)=1\sim U(0,t)\) 。
下面我们将结果推广到 \(n\) 个事件，这里需要涉及次序统计量的概念，我们只介绍结论而不作证明。
定理：设\(\{N(t):t\geq0\}\) 是参数为 \(\lambda\) 的泊松过程，在已知 \(N(t)=n\) 的条件下，这 \(n\) 个事件的到达时刻 \(S_1,S_2,\cdots,S_n\) 与 \(n\) 个独立同分布的均匀分布 \(U(0,t)\) 随机变量的次序统计量同分布，即
其中 \(U_{(1)},U_{(2)},\cdots,U_{(n)}\) 为 \(n\) 个独立同分布的 \(U(0,t)\) 随机变量 \(U_1,U_2,\cdots,U_n\) 的次序统计量。
补充一个次序统计量的知识点。
设 \(X_1,X_2,\cdots,X_n\) 是来自密度函数为 \(f(x)\) 的连续总体的简单随机样本。即 \(X_1,X_2,\cdots,X_n\) 独立同分布，且具有密度函数 \(f(x)\) 。把 \(X_1,X_2,\cdots,X_n\) 从小到大排列，即可得到次序统计量
\[X_{(1)}\leq X_{(2)}\leq\cdots\leq X_{(n)} \ , \]则 \(\left(X_{(1)},X_{(2)},\cdots,X_{(n)}\right)\) 具有联合概率密度函数
\[g(x_1,x_2,\cdots,x_n)=\left\{ \begin{array}{ll} n!f(x_1)f(x_2)\cdots f(x_n) \ , & x_1<x_2<\cdots<x_n \ , \\ 0 \ , & \text{otherwise} \ . \end{array}\right. \]
对于本课程而言，推广到 \(n\) 个事件的到达时刻的条件分布仅供了解。
Part 4：泊松过程的合成与分解
这部分我们只需掌握以下两个定理的应用。
定理：设 \(\{N_1(t):t\geq0\}\) 和 \(\{N_1(t):t\geq0\}\) 分别为参数为 \(\lambda_1\) 和 \(\lambda_2\) 的泊松过程，且两个泊松过程相互独立，定义 \(N(t)=N_1(t)+N_2(t)\) ，则 \(\{N(t):t\geq0\}\) 是参数为 \(\lambda_1+\lambda_2\) 的泊松过程。
定理：设 \(\{N(t):t\geq0\}\) 是参数为 \(\lambda\) 的泊松过程，若每个事件独立地且独立于 \(\{N(t):t\geq0\}\) 以概率 \(p\) 为第一类事件，以概率 \(1-p\) 为第二类事件，定义 \(N_1(t)\) 和 \(N_2(t)\) 分别表示到 \(t\) 时刻为止的第一类事件和第二类事件发生的个数，则 \(\{N_1(t):t\geq0\}\) 和 \(\{N_1(t):t\geq0\}\) 分别是参数为 \(\lambda p\) 和 \(\lambda(1-p)\) 的泊松过程，且相互独立。
利用泊松过程的第二种定义，可以较为方便地证明这两个定理，其中最复杂的部分在于证明独立增量性。这两个定理的证明不要求掌握，在此便不做赘述。
三、非齐次泊松过程
Part 1：非齐次泊松过程的定义
之前我们所讨论的泊松过程均为齐次泊松过程，参数 \(\lambda\) 的含义是事件发生的速率，是一个常数，不会随时间的改变而改变。下面我们将泊松过程推广为非齐次的泊松过程，也称为非平稳的泊松过程，它允许在时间 \(t\) 内事件发生的速率是一个关于 \(t\) 的函数。首先给出非齐次泊松过程的两种定义。
非齐次泊松过程的第一种定义：计数过程 \(\{N(t):t\geq0\}\) 称为强度函数为 \(\lambda(t)\ (t\geq0)\) 的非齐次泊松过程，如果满足以下条件：
- \(N(0)=0\) ；
- \(\{N(t):t\geq0\}\) 是独立增量过程；
- 稀有性：\(P(N(t+h)-N(t)=1)=\lambda(t)h+o(h)\) ；
- 相继性：\(P(N(t+h)-N(t)\geq2)=o(h)\) 。
按照如下定义的函数 \(m(t)\) 称为非齐次泊松过程的均值函数：
非齐次泊松过程的第二种定义：计数过程 \(\{N(t):t\geq0\}\) 称为强度函数为 \(\lambda(t)\ (t\geq0)\) 的非齐次泊松过程，如果满足以下条件：
- \(N(0)=0\) ；
- \(\{N(t):t\geq0\}\) 是独立增量过程；
- 对任意的 \(0\leq s<t\) ，都有 \(N(t)-N(s)\sim P\left(\displaystyle\int_s^t\lambda(y){\rm d}y\right)\) 。
可以验证 \({\rm E}(N(t))=m(t)\) ，这就是我们把 \(m(t)\) 称为均值函数的原因。关于非齐次泊松过程的两种定义的等价性我们就不再证明了。
非齐次泊松过程的意义在于我们不再需要平稳增量的限制，这可以用来解释事件在某些时间比在其他时间更有可能会发生的情况。
Part 2：非齐次泊松过程的合成与分解
同样这里我们只给出两个定理。
定理：设 \(\{N_1(t):t\geq0\}\) 和 \(\{N_1(t):t\geq0\}\) 分别是强度函数为 \(\lambda_1(t)\) 和 \(\lambda_2(t)\) 的非齐次泊松过程且相互独立。定义 \(N(t)=N_1(t)+N_2(t)\) ，则 \(\{N(t):t\geq0\}\) 是参数为 \(\lambda_1(t)+\lambda_2(t)\) 的非齐次泊松过程。
定理：设 \(\{N(t):t\geq0\}\) 是参数为 \(\lambda\) 的泊松过程，若在 \(t\) 时刻发生的事件独立地且独立于 \(\{N(t):t\geq0\}\) 以概率 \(p(t)\) 为第一类事件，以概率 \(1-p(t)\) 为第二类事件，定义 \(N_1(t)\) 和 \(N_2(t)\) 分别表示到 \(t\) 时刻为止的第一类事件和第二类事件发生的个数，则 \(\{N_1(t):t\geq0\}\) 和 \(\{N_1(t):t\geq0\}\) 分别是强度函数为 \(\lambda p(t)\) 和 \(\lambda(1-p(t))\) 的非齐次泊松过程，且相互独立。
