应用随机过程07：平稳过程

目录

• 第七讲 平稳过程
  • 一、平稳过程及其相关概念
    • Part 1：平稳过程的定义
    • Part 2：自相关函数的性质
  • 二、时间平均
    • Part 1：时间平均与样本平均
    • Part 2：均方收敛与均方可积
    • Part 3：时间平均的定义
  • 三、各态历经性
    • Part 1：各态历经性的定义
    • Part 2：均值各态历经性定理
    • Part 3：自相关函数各态历经性定理

第七讲 平稳过程

一、平稳过程及其相关概念

Part 1：平稳过程的定义

从通俗意义上去理解，平稳过程指的是统计特性不随时间的推移而改变的一类随机过程。随机过程的统计特性一般通过有限维分布和数字特征进行刻画。我们根据这些不变的特征，给出两种平稳过程的定义，即严平稳过程和宽平稳过程。

严平稳过程：对于随机过程 $\{X(t),\,t\in T\}$ ，如果对任意 $k\geq1$ 和 $t_1,t_2,\cdots,t_k\in T$ 以及 $h\in T$ 都有

$$\big(X(t_1+h),X(t_2+h),\cdots,X(t_k+h)\big)\xlongequal{d}\big(X(t_1),X(t_2),\cdots,X(t_k)\big) \ ,$$

则称该随机过程为严平稳过程或强平稳过程。

严平稳过程的任意有限维分布都不随时间的推移而改变。然而实际中随机过程的有限维分布往往很难确定，所以我们一般研究的平稳过程，都是在数字特征尤其是一阶矩和二阶矩中体现出的平稳性。

宽平稳过程：对于随机过程 $\{X(t),\,t\in T\}$ ，对任意的 $t\in T$ ，都有 ${\rm E}[X(t)]^2<\infty$ 。如果满足

1. 均值函数为常数，即 $\mu_X(t)\equiv\mu \ , \ \ t\in T$ ；
2. 自相关函数仅与时间差有关，即 $r_X(s,\,t)=R_X(s-t) \ , \ \ s,\,t\in T$ ，

则称该随机过程为宽平稳过程或弱平稳过程。

严平稳过程和宽平稳过程的关系我们只需要记住以下两条：

1. 如果严平稳过程的二阶矩存在且有限，那么它一定是宽平稳过程，反之则不一定。
2. 如果宽平稳过程是正态过程，那么它一定是严平稳过程。

宽平稳过程一定是二阶矩过程。以后提到的平稳过程，除非特别指明，否则都指的是宽平稳过程。

Part 2：自相关函数的性质

对于平稳过程而言，我们主要研究的数字特征就是自相关函数或自协方差函数。下面我们介绍平稳过程自相关函数或自协方差函数的性质。

设 $\{X(t),\,t\in T\}$ 是宽平稳过程，定义自相关函数和自协方差函数为

$$r_X(\tau)={\rm E}(X(t)X(t+\tau)) \ , \quad C_X(\tau)={\rm Cov}(X(t),X(t+\tau)) \ , \quad \forall\tau\in T \ ,$$

则有以下性质

1. $r_X(0)\geq0,\,C_X(0)\geq0$ ；
2. $r_X(\tau)$ 和 $C_X(\tau)$ 均为偶函数；
3. $|r_X(\tau)|\leq r_X(0),\,|C_X(\tau)|\leq C_X(0)$ ，即 $0$ 点是最大值点；
4. $r_X(\tau)$ 和 $C_X(\tau)$ 均为非负定函数；

我们只证明关于自相关函数的结论。

性质 1 和性质 2 由定义式可得：

$$\begin{aligned} &r_X(0)={\rm E}[X(t)]^2\geq0 \ . \\ \\ &r_X(-\tau)={\rm E}(X(t)X(t-\tau))\xlongequal{t'=t-\tau}{\rm E}(X(t')X(t'+\tau))=r_X(\tau) \ . \end{aligned}$$

性质 3 由柯西不等式可得：

$$\left|r_X(\tau)\right|=|{\rm E}(X(t)X(t+\tau))|\leq\sqrt{{\rm E}[X(t)]^2{\rm E}[X(t+\tau)]^2}=r_X(0) \ .$$

性质 4 只需证对任意的 $t_1,t_2,\cdots,t_n\in T$ 和任意的 $a_1,a_2,\cdots,a_n\in\mathbb{R}$ ，有

$$\sum_{i=1}^n\sum_{j=1}^nr_X(t_i-t_j)a_ia_j\geq0 \ .$$

将定义式代入，并对和式进行整理可得

$$\begin{aligned} \sum_{i=1}^n\sum_{j=1}^nr_X(t_i-t_j)a_ia_j&=\sum_{i=1}^n\sum_{j=1}^n{\rm E}(X(t_i)X(t_j))a_ia_j\\ &={\rm E}\left[\sum_{i=1}^n\sum_{j=1}^nX(t_i)X(t_j)a_ia_j\right]={\rm E}\left[\sum_{i=1}^nX(t_i)a_i\right]^2\geq0 \ . \end{aligned}$$

如果忘记了非负定的含义，请自行复习线性代数关于二次型的相关内容。

二、时间平均

Part 1：时间平均与样本平均

我们习惯上把随机变量的数学期望称作随机变量的均值，这里我们简单解释一下其中的缘由。设 $X$ 是一个随机变量，数学期望为 ${\rm E}(X)=\mu$ 。如果 $\mu$ 是未知的，我们可以通过反复试验或多次观测，收集一组简单随机样本 $X_1,X_2,\cdots,X_n$ ，计算样本均值 $\bar{X}$ 作为 $\mu$ 的估计。

根据辛钦大数定律，我们有

$$\frac{X_1+X_2+\cdots+X_n}{n}\xrightarrow{P}\mu \ , \quad n\to\infty \ .$$

根据柯尔莫哥洛夫强大数定律，我们有

$$\frac{X_1+X_2+\cdots+X_n}{n}\xrightarrow{}\mu \ , \quad {\rm a.s.} \quad n\to\infty \ .$$

这就是极限意义下样本平均的概念。基于上述事实，数学期望 $\mu$ 就可以被称为样本平均。

接下来我们考虑随机过程的情况。设 $\{X(t),\,t\in T\}$ 是一个随机过程，均值函数为 ${\rm E}(X(t))=\mu(t)$ 。如果 $\mu(t)$ 是未知的，我们是否还能通过反复试验或多次观测，计算样本均值来估计 $\mu(t)$ 呢？

需要注意，这里的观测需要针对同一时刻 $t$ 进行。如果 $t$ 发生改变，那么 $X(t)$ 也不再是原来的随机变量。然而在真实世界里，时间是不可重复的。在指定时刻，所有事件只发生一次，我们无法实现反复试验或多次观测，更无法使用大数定律判断其收敛性。

为克服这一困难，我们考虑能否通过一次足够长时间的观测，用一条样本函数信息来估计均值函数和自相关函数呢？这就是时间平均的概念。对于平稳过程来说似乎是可行的，但我们需要给出类似于大数定律的极限条件，只有满足极限条件，才可以在极限意义下定义时间平均。

因此我们先引入均方可积的概念，再给出时间平均的定义。

Part 2：均方收敛与均方可积

在介绍均方可积之前，需要复习一下均方收敛的概念。

均方收敛：设 $X,X_1,X_2,\cdots,X_n$ 都是随机变量，且 ${\rm E}\left(X^2\right)<\infty,\,{\rm E}\left(X_n^2\right)<\infty,\,\forall n\geq1$ 。如果

$$\lim_{n\to\infty}{\rm E}\left[X_n-X\right]^2=0 \ ,$$

则称 $X_n$ 均方收敛于 $X$ ，记为 $X_n\xrightarrow{L^2}X$ 。

下面给出均方可积的定义，了解即可，不需要掌握。

均方可积：设 $\{X(t),\,a\leq t\leq b\}$ 是二阶矩过程，做区间 $[a,b]$ 的划分 $a=t_0<t_1<\cdots<t_n=b$ ，令 $\Delta t_i=t_i-t_{i-1}$ ，取点 $\tau_i\in[t_{i-1},t_i],\,i=1,2,\cdots,n$ 。如果存在随机变量 $Y$ 使得

$$\lim_{\max\Delta t_i\to0}{\rm E}\left(\sum_{i=1}^nX(\tau_i)\Delta t_i-Y\right)^2=0 \ ,$$

则称 $X(t)$ 在区间 $[a,b]$ 上可积，记为 $Y=\displaystyle\int_a^bX(t){\rm d}t$ ，称为均方积分。

除此之外，均方可积还有如下的定理可供使用，证明略。

均方可积准则：$X(t)$ 在 $[a,b]$ 上均方可积的充要条件是

$$\int_a^b\int_a^br_X(t_1,t_2){\rm d}t_1{\rm d}t_2 <\infty \ .$$

推论：如果 $\{X(t),\,t\in T\}$ 是平稳过程，则对任何 $[a,b]\subset T$ ，$X(t)$ 在 $[a,b]$ 上均方可积。

均方积分性质：设 $X(t)$ 在 $[a,b]$ 上均方可积，则有

$$\begin{aligned} &{\rm E}\left[\int_a^bX(t){\rm d}t\right]=\int_a^b{\rm E}(X(t)){\rm d}t \ . \\ \\ &{\rm E}\left[\left(\int_a^bX(t){\rm d}t\right)^2\right]=\int_a^b\int_a^br_X(t_1,t_2){\rm d}t_1{\rm d}t_2 \ . \end{aligned}$$

Part 3：时间平均的定义

现在我们可以给出时间平均和时间相关函数的定义。这里我们考虑时间参数空间为全体实数 $\mathbb{R}$ 上的情况。如果 $\{X(t):t\in\mathbb{R}\}$ 为平稳过程，对任意的 $T>0$ ，定义

$$\bar{X}_T=\frac1{2T}\int_{-T}^TX(t){\rm d}t \ ,$$

由均方可积准则的推论知，一定有 $X(t)$ 在 $[-T,T]$ 上是均方可积，所以 $\bar{X}_T$ 存在且有限，称 $\bar{X}_T$ 为 $[-T,T]$ 上的时间平均。进而，如果存在一个随机变量 $\eta$ 使得

$$\lim_{T\to\infty}{\rm E}\left[\frac{1}{2T}\int_{-T}^TX(t){\rm d}t-\eta\right]^2=0 \ .$$

则称 $\eta$ 为平稳过程 $\{X(t):t\in\mathbb{R}\}$ 的时间平均，记为

$$\langle X(t)\rangle=\eta=\lim_{T\to\infty}\frac{1}{2T}\int_{-T}^TX(t){\rm d}t \ .$$

进而我们可以定义该平稳过程的时间相关函数为

$$\langle X(t)X(t+\tau)\rangle=\lim_{T\to\infty}\frac{1}{2T}\int_{-T}^TX(t)X(t+\tau){\rm d}t \ .$$

类似地，我们给出如下三种参数空间的平稳过程的时间平均。如果时间参数空间是离散型的，我们可以用级数代替均方积分。

如果 $\{X(t):t\geq0\}$ 为平稳过程，我们可以定义该过程的时间平均为

$$\langle X(t)\rangle=\lim_{T\to\infty}\frac{1}{T}\int_0^TX(t){\rm d}t \ , \quad \langle X(t)X(t+\tau)\rangle=\lim_{T\to\infty}\frac{1}{T}\int_{0}^TX(t)X(t+\tau){\rm d}t \ .$$

如果 $\{X_n:n\geq0\}$ 是平稳过程，我们可以定义该过程的时间平均为

$$\langle X_n\rangle=\lim_{N\to\infty}\frac{1}{N}\sum_{n=1}^NX_n \ , \quad \langle X_nX_{n+k}\rangle=\lim_{N\to\infty}\frac{1}{N}\sum_{n=1}^NX_nX_{n+k} \ .$$

如果 $\{X_n:n\in\mathbb{Z}\}$ 是平稳过程，我们可以定义该过程的时间平均为

$$\langle X_n\rangle=\lim_{N\to\infty}\frac{1}{2N+1}\sum_{n=-N}^NX_n \ , \quad \langle X_nX_{n+k}\rangle=\lim_{N\to\infty}\frac{1}{2N+1}\sum_{n=-N}^NX_nX_{n+k} \ .$$

关于时间平均和样本平均的概念，我们需要注意一点：对于平稳过程 $\{X(t):t\in T\}$ 而言，如果设样本平均为 ${\rm E}(X(t))=\mu$ ，时间平均为 $\langle X(t)\rangle=\eta$ ，则有 $\mu$ 是一个常数，而 $\eta$ 是一个随机变量。

三、各态历经性

Part 1：各态历经性的定义

有了时间平均和时间相关函数的概念，我们回到之前的问题：是否可以用一条样本函数信息来估计均值函数和自相关函数。

对于平稳过程 $\{X(t):t\in T\}$ ，如果时间平均几乎处处等于样本平均，即

$$\langle X(t)\rangle={\rm E}(X(t))=\mu_X \ , \quad {\rm a.s.} \ ,$$

则称过程的均值具有各态历经性。

对任意的实数 $\tau$ ，如果时间相关函数几乎处处等于自相关函数，即

$$\langle X(t)X(t+\tau)\rangle={\rm E}(X(t)X(t+\tau))=R_X(\tau) \ , \quad {\rm a.s.} \ ,$$

则称过程的自相关函数具有各态历经性。

若平稳过程的均值函数和自相关函数都具有各态历经性，则称该平稳过程是各态历经过程。

Part 2：均值各态历经性定理

首先考虑连续时间平稳过程的情况，设 $\{X(t):t\in T\}$ 的时间参数空间为 $\mathbb{R}$ 或 $[0,\infty)$ 。

定理：设 $\{X(t):t\in\mathbb{R}\}$ 是平稳过程，则 $\{X(t)\}$ 的均值具有各态历经性当且仅当

$$\lim_{T\to\infty}\frac{1}{T^2}\int_{-T}^T(T-|\tau|)\left(r_X(\tau)-\mu_X^2\right){\rm d}\tau=0 \ .$$

定理：设 $\{X(t):t\geq0\}$ 是平稳过程，则 $\{X(t)\}$ 的均值具有各态历经性当且仅当

$$\lim_{T\to\infty}\frac{1}{T^2}\int_{0}^T(T-\tau)\left(r_X(\tau)-\mu_X^2\right){\rm d}\tau=0 \ .$$

推论：设 $\{X(t):t\in T\}$ 的时间参数空间为 $\mathbb{R}$ 或 $[0,\infty)$ ，则 $\{X(t)\}$ 的均值具有各态历经性当且仅当

$$\lim_{T\to\infty}\frac{1}{T}\int_{0}^T\left(r_X(\tau)-\mu_X^2\right){\rm d}\tau=0 \ .$$

推论：若 $\lim\limits_{\tau\to\infty}r_X(\tau)$ 存在，则 $\{X(t)\}$ 的均值具有各态历经性当且仅当 $\lim\limits_{\tau\to\infty}r_X(\tau)=\mu_X^2$ 。

该推论是平稳过程均值具有各态历经性的充分条件，说明当时间间隔充分大时，若状态呈现不相关性，则均值具有各态历经性。

反之不一定成立，如随机相位正弦波过程的 $\lim\limits_{\tau\to\infty}r_X(\tau)$ 不存在，但它的均值是各态历经的。

接下来考虑离散时间平稳过程的情况，设 $\{X_n:n\in T\}$ 的时间参数空间为 $\mathbb{Z}$ 或 $\mathbb{N^*}$ 。

定理：设 $\{X_n:n\in\mathbb{Z}\}$ 是平稳过程，则 $\{X_n\}$ 的均值具有各态历经性当且仅当

$$\lim_{N\to\infty}\frac{1}{N^2}\sum_{k=-N}^N(N-|k|)\left(r_X(k)-\mu_X^2\right)=0 \ .$$

定理：设 $\{X_n:n\geq0\}$ 是平稳过程，则 $\{X_n\}$ 的均值具有各态历经性当且仅当

$$\lim_{N\to\infty}\frac{1}{N^2}\sum_{k=1}^N(N-k)\left(r_X(k)-\mu_X^2\right)=0 \ .$$

推论：设 $\{X_n:n\in T\}$ 的时间参数空间为 $\mathbb{Z}$ 或 $\mathbb{N^*}$ ，则 $\{X_n\}$ 的均值具有各态历经性当且仅当

$$\lim_{N\to\infty}\frac{1}{N}\sum_{k=1}^N\left(r_X(k)-\mu_X^2\right)=0 \ .$$

推论：若 $\lim\limits_{k\to\infty}r_X(k)$ 存在，则 $\{X_n\}$ 的均值具有各态历经性当且仅当 $\lim\limits_{k\to\infty}r_X(k)=\mu_X^2$ 。

以上定理和推论的证明我们就不予讨论了。

Part 3：自相关函数各态历经性定理

将均值各态历经性定理中的 $X(t)$ 换成 $X(t)X(t+h)$ 就可得到自相关函数各态历经性定理。

定理：设 $\{X(t):t\in\mathbb{R}\}$ 是平稳过程，对任意给定的 $h$ ，$\{X(t)X(t+h):t\in\mathbb{R}\}$ 也是平稳过程，

则 $\{X(t)\}$ 的自相关函数具有各态历经性当且仅当

$$\lim_{T\to\infty}\frac1T\int_0^T\left(B_h(\tau)-r_X^2(h)\right){\rm d}\tau=0 \ ,$$

其中 $B_h(\tau)={\rm E}\left[X(t)X(t+h)X(t+\tau)X(t+h+\tau)\right]$ 。