应用随机过程07：平稳过程

目录

• 第七讲 平稳过程
  • 一、平稳过程及其相关概念
    • Part 1：平稳过程的定义
    • Part 2：自相关函数的性质
  • 二、时间平均
    • Part 1：时间平均与样本平均
    • Part 2：均方收敛与均方可积
    • Part 3：时间平均的定义
  • 三、各态历经性
    • Part 1：各态历经性的定义
    • Part 2：均值各态历经性定理
    • Part 3：自相关函数各态历经性定理

第七讲 平稳过程

一、平稳过程及其相关概念

Part 1：平稳过程的定义

从通俗意义上去理解，平稳过程指的是统计特性不随时间的推移而改变的一类随机过程。随机过程的统计特性一般通过有限维分布和数字特征进行刻画。我们根据这些不变的特征，给出两种平稳过程的定义，即严平稳过程和宽平稳过程。

严平稳过程：对于随机过程 \(\{X(t),\,t\in T\}\) ，如果对任意 \(k\geq1\) 和 \(t_1,t_2,\cdots,t_k\in T\) 以及 \(h\in T\) 都有

\[\big(X(t_1+h),X(t_2+h),\cdots,X(t_k+h)\big)\xlongequal{d}\big(X(t_1),X(t_2),\cdots,X(t_k)\big) \ , \]

则称该随机过程为严平稳过程或强平稳过程。

严平稳过程的任意有限维分布都不随时间的推移而改变。然而实际中随机过程的有限维分布往往很难确定，所以我们一般研究的平稳过程，都是在数字特征尤其是一阶矩和二阶矩中体现出的平稳性。

宽平稳过程：对于随机过程 \(\{X(t),\,t\in T\}\) ，对任意的 \(t\in T\) ，都有 \({\rm E}[X(t)]^2<\infty\) 。如果满足

1. 均值函数为常数，即 \(\mu_X(t)\equiv\mu \ , \ \ t\in T\) ；
2. 自相关函数仅与时间差有关，即 \(r_X(s,\,t)=R_X(s-t) \ , \ \ s,\,t\in T\) ，

则称该随机过程为宽平稳过程或弱平稳过程。

严平稳过程和宽平稳过程的关系我们只需要记住以下两条：

1. 如果严平稳过程的二阶矩存在且有限，那么它一定是宽平稳过程，反之则不一定。
2. 如果宽平稳过程是正态过程，那么它一定是严平稳过程。

宽平稳过程一定是二阶矩过程。以后提到的平稳过程，除非特别指明，否则都指的是宽平稳过程。

Part 2：自相关函数的性质

对于平稳过程而言，我们主要研究的数字特征就是自相关函数或自协方差函数。下面我们介绍平稳过程自相关函数或自协方差函数的性质。

设 \(\{X(t),\,t\in T\}\) 是宽平稳过程，定义自相关函数和自协方差函数为

\[r_X(\tau)={\rm E}(X(t)X(t+\tau)) \ , \quad C_X(\tau)={\rm Cov}(X(t),X(t+\tau)) \ , \quad \forall\tau\in T \ , \]

则有以下性质

1. \(r_X(0)\geq0,\,C_X(0)\geq0\) ；
2. \(r_X(\tau)\) 和 \(C_X(\tau)\) 均为偶函数；
3. \(|r_X(\tau)|\leq r_X(0),\,|C_X(\tau)|\leq C_X(0)\) ，即 \(0\) 点是最大值点；
4. \(r_X(\tau)\) 和 \(C_X(\tau)\) 均为非负定函数；

我们只证明关于自相关函数的结论。

性质 1 和性质 2 由定义式可得：

\[\begin{aligned} &r_X(0)={\rm E}[X(t)]^2\geq0 \ . \\ \\ &r_X(-\tau)={\rm E}(X(t)X(t-\tau))\xlongequal{t'=t-\tau}{\rm E}(X(t')X(t'+\tau))=r_X(\tau) \ . \end{aligned} \]

性质 3 由柯西不等式可得：

\[\left|r_X(\tau)\right|=|{\rm E}(X(t)X(t+\tau))|\leq\sqrt{{\rm E}[X(t)]^2{\rm E}[X(t+\tau)]^2}=r_X(0) \ . \]

性质 4 只需证对任意的 \(t_1,t_2,\cdots,t_n\in T\) 和任意的 \(a_1,a_2,\cdots,a_n\in\mathbb{R}\) ，有

\[\sum_{i=1}^n\sum_{j=1}^nr_X(t_i-t_j)a_ia_j\geq0 \ . \]

将定义式代入，并对和式进行整理可得

\[\begin{aligned} \sum_{i=1}^n\sum_{j=1}^nr_X(t_i-t_j)a_ia_j&=\sum_{i=1}^n\sum_{j=1}^n{\rm E}(X(t_i)X(t_j))a_ia_j\\ &={\rm E}\left[\sum_{i=1}^n\sum_{j=1}^nX(t_i)X(t_j)a_ia_j\right]={\rm E}\left[\sum_{i=1}^nX(t_i)a_i\right]^2\geq0 \ . \end{aligned} \]

如果忘记了非负定的含义，请自行复习线性代数关于二次型的相关内容。

二、时间平均

Part 1：时间平均与样本平均

我们习惯上把随机变量的数学期望称作随机变量的均值，这里我们简单解释一下其中的缘由。设 \(X\) 是一个随机变量，数学期望为 \({\rm E}(X)=\mu\) 。如果 \(\mu\) 是未知的，我们可以通过反复试验或多次观测，收集一组简单随机样本 \(X_1,X_2,\cdots,X_n\) ，计算样本均值 \(\bar{X}\) 作为 \(\mu\) 的估计。

根据辛钦大数定律，我们有

\[\frac{X_1+X_2+\cdots+X_n}{n}\xrightarrow{P}\mu \ , \quad n\to\infty \ . \]

根据柯尔莫哥洛夫强大数定律，我们有

\[\frac{X_1+X_2+\cdots+X_n}{n}\xrightarrow{}\mu \ , \quad {\rm a.s.} \quad n\to\infty \ . \]

这就是极限意义下样本平均的概念。基于上述事实，数学期望 \(\mu\) 就可以被称为样本平均。

接下来我们考虑随机过程的情况。设 \(\{X(t),\,t\in T\}\) 是一个随机过程，均值函数为 \({\rm E}(X(t))=\mu(t)\) 。如果 \(\mu(t)\) 是未知的，我们是否还能通过反复试验或多次观测，计算样本均值来估计 \(\mu(t)\) 呢？

需要注意，这里的观测需要针对同一时刻 \(t\) 进行。如果 \(t\) 发生改变，那么 \(X(t)\) 也不再是原来的随机变量。然而在真实世界里，时间是不可重复的。在指定时刻，所有事件只发生一次，我们无法实现反复试验或多次观测，更无法使用大数定律判断其收敛性。

为克服这一困难，我们考虑能否通过一次足够长时间的观测，用一条样本函数信息来估计均值函数和自相关函数呢？这就是时间平均的概念。对于平稳过程来说似乎是可行的，但我们需要给出类似于大数定律的极限条件，只有满足极限条件，才可以在极限意义下定义时间平均。

因此我们先引入均方可积的概念，再给出时间平均的定义。

Part 2：均方收敛与均方可积

在介绍均方可积之前，需要复习一下均方收敛的概念。

均方收敛：设 \(X,X_1,X_2,\cdots,X_n\) 都是随机变量，且 \({\rm E}\left(X^2\right)<\infty,\,{\rm E}\left(X_n^2\right)<\infty,\,\forall n\geq1\) 。如果

\[\lim_{n\to\infty}{\rm E}\left[X_n-X\right]^2=0 \ , \]

则称 \(X_n\) 均方收敛于 \(X\) ，记为 \(X_n\xrightarrow{L^2}X\) 。

下面给出均方可积的定义，了解即可，不需要掌握。

均方可积：设 \(\{X(t),\,a\leq t\leq b\}\) 是二阶矩过程，做区间 \([a,b]\) 的划分 \(a=t_0<t_1<\cdots<t_n=b\) ，令 \(\Delta t_i=t_i-t_{i-1}\) ，取点 \(\tau_i\in[t_{i-1},t_i],\,i=1,2,\cdots,n\) 。如果存在随机变量 \(Y\) 使得

\[\lim_{\max\Delta t_i\to0}{\rm E}\left(\sum_{i=1}^nX(\tau_i)\Delta t_i-Y\right)^2=0 \ , \]

则称 \(X(t)\) 在区间 \([a,b]\) 上可积，记为 \(Y=\displaystyle\int_a^bX(t){\rm d}t\) ，称为均方积分。

除此之外，均方可积还有如下的定理可供使用，证明略。

均方可积准则：\(X(t)\) 在 \([a,b]\) 上均方可积的充要条件是

\[\int_a^b\int_a^br_X(t_1,t_2){\rm d}t_1{\rm d}t_2 <\infty \ . \]

推论：如果 \(\{X(t),\,t\in T\}\) 是平稳过程，则对任何 \([a,b]\subset T\) ，\(X(t)\) 在 \([a,b]\) 上均方可积。

均方积分性质：设 \(X(t)\) 在 \([a,b]\) 上均方可积，则有

\[\begin{aligned} &{\rm E}\left[\int_a^bX(t){\rm d}t\right]=\int_a^b{\rm E}(X(t)){\rm d}t \ . \\ \\ &{\rm E}\left[\left(\int_a^bX(t){\rm d}t\right)^2\right]=\int_a^b\int_a^br_X(t_1,t_2){\rm d}t_1{\rm d}t_2 \ . \end{aligned} \]

Part 3：时间平均的定义

现在我们可以给出时间平均和时间相关函数的定义。这里我们考虑时间参数空间为全体实数 \(\mathbb{R}\) 上的情况。如果 \(\{X(t):t\in\mathbb{R}\}\) 为平稳过程，对任意的 \(T>0\) ，定义

\[\bar{X}_T=\frac1{2T}\int_{-T}^TX(t){\rm d}t \ , \]

由均方可积准则的推论知，一定有 \(X(t)\) 在 \([-T,T]\) 上是均方可积，所以 \(\bar{X}_T\) 存在且有限，称 \(\bar{X}_T\) 为 \([-T,T]\) 上的时间平均。进而，如果存在一个随机变量 \(\eta\) 使得

\[\lim_{T\to\infty}{\rm E}\left[\frac{1}{2T}\int_{-T}^TX(t){\rm d}t-\eta\right]^2=0 \ . \]

则称 \(\eta\) 为平稳过程 \(\{X(t):t\in\mathbb{R}\}\) 的时间平均，记为

\[\langle X(t)\rangle=\eta=\lim_{T\to\infty}\frac{1}{2T}\int_{-T}^TX(t){\rm d}t \ . \]

进而我们可以定义该平稳过程的时间相关函数为

\[\langle X(t)X(t+\tau)\rangle=\lim_{T\to\infty}\frac{1}{2T}\int_{-T}^TX(t)X(t+\tau){\rm d}t \ . \]

类似地，我们给出如下三种参数空间的平稳过程的时间平均。如果时间参数空间是离散型的，我们可以用级数代替均方积分。

如果 \(\{X(t):t\geq0\}\) 为平稳过程，我们可以定义该过程的时间平均为

\[\langle X(t)\rangle=\lim_{T\to\infty}\frac{1}{T}\int_0^TX(t){\rm d}t \ , \quad \langle X(t)X(t+\tau)\rangle=\lim_{T\to\infty}\frac{1}{T}\int_{0}^TX(t)X(t+\tau){\rm d}t \ . \]

如果 \(\{X_n:n\geq0\}\) 是平稳过程，我们可以定义该过程的时间平均为

\[\langle X_n\rangle=\lim_{N\to\infty}\frac{1}{N}\sum_{n=1}^NX_n \ , \quad \langle X_nX_{n+k}\rangle=\lim_{N\to\infty}\frac{1}{N}\sum_{n=1}^NX_nX_{n+k} \ . \]

如果 \(\{X_n:n\in\mathbb{Z}\}\) 是平稳过程，我们可以定义该过程的时间平均为

\[\langle X_n\rangle=\lim_{N\to\infty}\frac{1}{2N+1}\sum_{n=-N}^NX_n \ , \quad \langle X_nX_{n+k}\rangle=\lim_{N\to\infty}\frac{1}{2N+1}\sum_{n=-N}^NX_nX_{n+k} \ . \]

关于时间平均和样本平均的概念，我们需要注意一点：对于平稳过程 \(\{X(t):t\in T\}\) 而言，如果设样本平均为 \({\rm E}(X(t))=\mu\) ，时间平均为 \(\langle X(t)\rangle=\eta\) ，则有 \(\mu\) 是一个常数，而 \(\eta\) 是一个随机变量。

三、各态历经性

Part 1：各态历经性的定义

有了时间平均和时间相关函数的概念，我们回到之前的问题：是否可以用一条样本函数信息来估计均值函数和自相关函数。

对于平稳过程 \(\{X(t):t\in T\}\) ，如果时间平均几乎处处等于样本平均，即

\[\langle X(t)\rangle={\rm E}(X(t))=\mu_X \ , \quad {\rm a.s.} \ , \]

则称过程的均值具有各态历经性。

对任意的实数 \(\tau\) ，如果时间相关函数几乎处处等于自相关函数，即

\[\langle X(t)X(t+\tau)\rangle={\rm E}(X(t)X(t+\tau))=R_X(\tau) \ , \quad {\rm a.s.} \ , \]

则称过程的自相关函数具有各态历经性。

若平稳过程的均值函数和自相关函数都具有各态历经性，则称该平稳过程是各态历经过程。

Part 2：均值各态历经性定理

首先考虑连续时间平稳过程的情况，设 \(\{X(t):t\in T\}\) 的时间参数空间为 \(\mathbb{R}\) 或 \([0,\infty)\) 。

定理：设 \(\{X(t):t\in\mathbb{R}\}\) 是平稳过程，则 \(\{X(t)\}\) 的均值具有各态历经性当且仅当

\[\lim_{T\to\infty}\frac{1}{T^2}\int_{-T}^T(T-|\tau|)\left(r_X(\tau)-\mu_X^2\right){\rm d}\tau=0 \ . \]

定理：设 \(\{X(t):t\geq0\}\) 是平稳过程，则 \(\{X(t)\}\) 的均值具有各态历经性当且仅当

\[\lim_{T\to\infty}\frac{1}{T^2}\int_{0}^T(T-\tau)\left(r_X(\tau)-\mu_X^2\right){\rm d}\tau=0 \ . \]

推论：设 \(\{X(t):t\in T\}\) 的时间参数空间为 \(\mathbb{R}\) 或 \([0,\infty)\) ，则 \(\{X(t)\}\) 的均值具有各态历经性当且仅当

\[\lim_{T\to\infty}\frac{1}{T}\int_{0}^T\left(r_X(\tau)-\mu_X^2\right){\rm d}\tau=0 \ . \]

推论：若 \(\lim\limits_{\tau\to\infty}r_X(\tau)\) 存在，则 \(\{X(t)\}\) 的均值具有各态历经性当且仅当 \(\lim\limits_{\tau\to\infty}r_X(\tau)=\mu_X^2\) 。

该推论是平稳过程均值具有各态历经性的充分条件，说明当时间间隔充分大时，若状态呈现不相关性，则均值具有各态历经性。

反之不一定成立，如随机相位正弦波过程的 \(\lim\limits_{\tau\to\infty}r_X(\tau)\) 不存在，但它的均值是各态历经的。

接下来考虑离散时间平稳过程的情况，设 \(\{X_n:n\in T\}\) 的时间参数空间为 \(\mathbb{Z}\) 或 \(\mathbb{N^*}\) 。

定理：设 \(\{X_n:n\in\mathbb{Z}\}\) 是平稳过程，则 \(\{X_n\}\) 的均值具有各态历经性当且仅当

\[\lim_{N\to\infty}\frac{1}{N^2}\sum_{k=-N}^N(N-|k|)\left(r_X(k)-\mu_X^2\right)=0 \ . \]

定理：设 \(\{X_n:n\geq0\}\) 是平稳过程，则 \(\{X_n\}\) 的均值具有各态历经性当且仅当

\[\lim_{N\to\infty}\frac{1}{N^2}\sum_{k=1}^N(N-k)\left(r_X(k)-\mu_X^2\right)=0 \ . \]

推论：设 \(\{X_n:n\in T\}\) 的时间参数空间为 \(\mathbb{Z}\) 或 \(\mathbb{N^*}\) ，则 \(\{X_n\}\) 的均值具有各态历经性当且仅当

\[\lim_{N\to\infty}\frac{1}{N}\sum_{k=1}^N\left(r_X(k)-\mu_X^2\right)=0 \ . \]

推论：若 \(\lim\limits_{k\to\infty}r_X(k)\) 存在，则 \(\{X_n\}\) 的均值具有各态历经性当且仅当 \(\lim\limits_{k\to\infty}r_X(k)=\mu_X^2\) 。

以上定理和推论的证明我们就不予讨论了。

Part 3：自相关函数各态历经性定理

将均值各态历经性定理中的 \(X(t)\) 换成 \(X(t)X(t+h)\) 就可得到自相关函数各态历经性定理。

定理：设 \(\{X(t):t\in\mathbb{R}\}\) 是平稳过程，对任意给定的 \(h\) ，\(\{X(t)X(t+h):t\in\mathbb{R}\}\) 也是平稳过程，

则 \(\{X(t)\}\) 的自相关函数具有各态历经性当且仅当

\[\lim_{T\to\infty}\frac1T\int_0^T\left(B_h(\tau)-r_X^2(h)\right){\rm d}\tau=0 \ , \]

其中 \(B_h(\tau)={\rm E}\left[X(t)X(t+h)X(t+\tau)X(t+h+\tau)\right]\) 。