应用随机过程01：随机过程的基本概念

目录

• 第一讲 随机过程的基本概念
  • 一、随机过程的定义
    • Part 1：随机变量
    • Part 2：随机过程
  • 二、有限维分布和数字特征
    • Part 1：有限维分布
    • Part 2：数字特征
    • Part 3：特殊随机过程
  • 三、二维随机过程
    • Part 1：二维随机过程
    • Part 2：二维随机过程的数字特征

第一讲 随机过程的基本概念

一、随机过程的定义

Part 1：随机变量

在介绍随机过程之前，我们先回忆一下随机变量是如何定义的。这一部分是概统中的内容，在这里我们主要对一些有用的概念做一个简单的回顾。

在概率论中的一个基本概念是随机试验，这种试验的结果不能预先确定。一个随机试验所有可能的基本结果的集合称为此试验的样本空间，记为 \(S\) 。随机变量就是定义在样本空间 \(S\) 上的实值单值函数，它给样本空间 \(S\) 中的每一个结果都指定了一个实数值与之对应。

随机变量的定义：设随机试验的样本空间为 \(S\) ，若 \(X=X(e)\) 为定义在样本空间 \(S\) 的实值单值函数，则称 \(X=X(e)\) 为随机变量。这里的 \(e\in S\) 代表样本空间的元素，称为样本点。

用映射的方式，我们可以将随机变量表示为 \(X(e):S\to \mathbb{R}\) 。

Part 2：随机过程

随机过程是一族随机变量，主要用于描述随时间变化的随机现象。

随机过程的定义：设 \(S\) 是样本空间，\(T\subset\mathbb{R}\) ，如果对 \(\forall t\in T\) ，\(X(t)\) 是 \(S\) 上的随机变量，则称 \(\{X(t):t\in T\}\) 是 \(S\) 上的随机过程，称 \(T\) 为时间参数空间。

用映射的方式，我们可以将随机过程表示为 \(X(t,e):T\times S\to\mathbb{R}\) 。可以看出，随机过程是一个二元实值单值函数。不过这样的定义未免有些抽象，比较容易的理解方式是单独考虑每个参数。

• 任意给定 \(t\in T\) ，则有 \(X(t,\cdot)\) 是 \(S\to\mathbb{R}\) 上的函数，即为 \(S\) 上的随机变量，其含义为随机过程在 \(t\) 时刻的状态。
• 任意给定 \(e\in S\) ，则有 \(X(\cdot,e)\) 是 \(T\to\mathbb{R}\) 上的函数，称为随机过程的样本轨道或样本曲线，其含义为随机过程在 \(T\) 上的一次实现。

我们将 \(X(t)\) 的所有可能取值的全体称为状态空间，记为 \(I\) 。根据时间参数空间 \(T\) 和状态空间 \(I\) 的不同类别，我们可以将随机过程分为以下四种情况：离散时间离散状态的随机过程、离散时间连续状态的随机过程、连续时间离散状态的随机过程、连续时间连续状态的随机过程。

二、有限维分布和数字特征

Part 1：有限维分布

由于随机过程在任一时刻的状态都是随机变量，因此我们可以也利用概率分布和数字特征来刻画一个随机过程的统计性质。首先我们介绍随机过程的概率分布，这里我们需要引入有限维分布的概念。

一维分布函数：给定随机过程 \(\{X(t):t\in T\}\) ，对于每一个固定的 \(t\in T\) ，随机变量 \(X(t)\) 的分布函数一般与 \(t\) 有关，记为

\[F_t(x)=P(X(t)\leq x) \ , \quad x\in\mathbb{R} \ , \]

称为随机过程 \(\{X(t):t\in T\}\) 的一维分布函数。当 \(t\) 取遍 \(T\) 中的所有元素时，我们可以得到一系列的分布函数，将这些分布函数的全体所构成的集合称为一维分布函数族，记为 \(\left\{F_X(x;t):t\in T\right\}\) 。一维分布函数族刻画了随机过程在各个单独时刻的统计特性。

二维分布函数：对于固定的 \(s,t\in T\) ，将二元随机变量 \((X(s),\,X(t))\) 的联合分布函数记为

\[F_{s,t}(x,y)=P(X(s)\leq x,X(t)\leq y) \ , \quad x\in\mathbb{R} \ , \quad y\in\mathbb{R} \ , \]

称为随机过程 \(\{X(t):t\in T\}\) 的二维分布函数。

\(n\) 维分布函数：为了描述随机过程在不同时刻状态之间的关系，对任意 \(n\) 个不同时刻 \(t_1,t_2,\cdots,t_n\in T\) 引入 \(n\) 维随机变量 \((X(t_1),X(t_2),\cdots,X(t_n))\) 的分布函数，记为

\[\begin{aligned} F_{t_1,t_2,\cdots,t_n}(x_1,x_2,\cdots,x_n)=P(X(t_1)\leq x_1,X(t_2)\leq x_2,\cdots,X(t_n)\leq x_n) \ , \\ \\ x_i\in\mathbb{R} \ , \quad i=1,2,\cdots,n \ , \end{aligned} \]

称为随机过程 \(\{X(t):t\in T\}\) 的 \(n\) 维分布函数。对于固定的 \(n\) ，类似地我们将所有 \(n\) 维分布函数所构成的集合称为 \(n\) 维分布函数族，记为 \(\{F_{t_1,t_2,\cdots,t_n}(x_1,x_2,\cdots,x_n):t_i\in T,i=1,2,\cdots,n\}\) 。当 \(n\) 充分大时，\(n\) 维分布函数能够近似地描述随机过程的统计性质。我们把所有可能的 \(n\) 维分布统称为有限维分布。

如果我们进一步地让 \(n\) 取遍所有正整数，把任意维分布函数族的元素都放在一起，便可以得到一个更大的集合。这就是随机过程 \(\{X(t):t\in T\}\) 的有限维分布函数族，记为

\[\left\{F_{t_1,t_2,\cdots,t_n}(x_1,x_2,\cdots,x_n):n=1,2,\cdots,\,t_i\in T,\,i=1,2,\cdots,n\right\} \ . \]

为了便于理解，我们可以将有限维分布函数族用集合的并表示：

\[ \bigcup_{n=1}^\infty\{F_{t_1,t_2,\cdots,t_n}(x_1,x_2,\cdots,x_n):t_i\in T,i=1,2,\cdots,n\} \ . \]

Kolmogorov 定理：有限维分布函数族完全地确定了随机过程的统计性质。

以上就是关于随机过程的概率分布的内容，从概念上理解较为抽象，需要结合题目加以练习。这里需要强调一点，随机过程在不同的时间点的随机变量不一定独立，其联合分布需要根据具体过程的性质加以计算。

Part 2：数字特征

Kolmogorov 定理可以告诉我们，一个随机过程的有限维分布函数族包含了关于这个随机过程的所有信息。但在实际工作中，我们很难确定一个随机过程完整的有限维分布函数族，因此我们需要引入某些数字特征来反映随机过程的主要性质。一般地，随机过程的数字特征是定义在时间参数空间 \(T\) 上的函数。

对于随机过程 \(\{X(t):t\in T\}\) ，我们主要研究它的均值函数、方差函数、自协方差函数和自相关函数。这里我们也会介绍一些由这些数字特征诱导出来的其他数字特征，例如均方函数和标准差函数。

1. 均值函数：\(\mu_X(t)={\rm E}[X(t)]\) 。

2. 二阶矩函数：\(\psi_X^2(t)={\rm E}\left[X(t)\right]^2\) 。

3. 方差函数：\(\sigma_X^2(t)={\rm Var}(X(t))\) 。

4. 标准差函数：\(\sigma_X(t)=\sqrt{\sigma_X^2(t)}\) 。

5. 自相关函数：\(r_X(s,t) ={\rm E}[X(s)X(t)]\) 。

6. 自协方差函数：\(C_X(s,t) ={\rm Cov}(X(s),X(t))\) 。

利用期望、方差和协方差的运算性质，我们可以得到随机过程的数字特征之间的关系：

1. 二阶矩函数和自相关函数具有如下关系：

\[\psi_X^2(t)=r_X(t,t) \ . \]

2. 方程函数和自协方差函数具有如下关系：

\[\sigma^2_X(t)=C_X(t,t) \ . \]

3. 自协方差函数和自相关函数具有如下关系：

\[C_X(s,t)=r_X(s,t)-\mu_X(s)\mu_X(t) \ . \]

4. 自相关函数和自协方差函数是对称函数：

\[r_X(s,t)=r_X(t,s) \ , \quad C_X(s,t)=C_X(t,s) \ . \]

Part 3：特殊随机过程

在随机过程的数字特征中，我们关注最多的就是均值函数和自协方差函数。一方面是因为其他的数字特征都可以由均值函数和自协方差函数诱导得出，另一方面是因为均值函数和自协方差函数已经概括了随机过程较为核心的性质。我们从这两个数字特征出发，介绍一些特殊的随机过程。

二阶矩过程：如果对每一个 \(t\in T\) ，随机过程 \(\{X(t):t\in T\}\) 的二阶矩 \({\rm E}[X(t)]^2\) 都存在，则称该随机过程为二阶矩过程。这里二阶矩 \({\rm E}[X(t)]^2\) 存在的含义是 \({\rm E}\left[X(t)\right]^2<\infty\) 。可以证明，二阶矩过程的均值函数、方差函数、自相关函数和自协方差函数都是存在的。

正态过程：对于随机过程 \(\{X(t):t\in T\}\) ，如果它的每一个有限维分布都是正态分布，则称该随机过程为正态过程或高斯过程。正态过程是一种特殊的二阶矩过程。正态过程的统计性质完全由它的均值函数和自协方差函数所确定，即正态过程的有限维分布完全由它的均值函数和自协方差函数所确定。

白噪声过程：设随机过程 \(\{X(t):t\in T\}\) 是零均值随机过程，如果对任意的 \(s\neq t\) 都有 \(r_X(s,\,t)=0\) ，则称该随机过程是白噪声过程。

三、二维随机过程

Part 1：二维随机过程

在实际问题中，我们有时需要研究两个或两个以上随机过程及它们之间的统计关系。除了单独研究各个随机过程的统计性质之外，还需要将几个随机过程作为整体，进一步研究其统计性质。这里我们主要讨论一下二维随机过程的定义和随机过程的独立性。

二维随机过程的定义：设 \(\{X(t):t\in T\}\) 和 \(\{Y(t):t\in T\}\) 是依赖于同一时间参数 \(t\in T\) 的随机过程，对于任意的 \(t\in T\) ，都有 \((X(t),Y(t))\) 是二维随机向量，则称 \(\{(X(t),Y(t)):t\in T\}\) 为二维随机过程。

随机过程的独立性：对于随机过程 \(\{X(t):t\in T\}\) 和 \(\{Y(t):t\in T\}\) ，如果对任意的正整数 \(n\) 和 \(m\) 以及任意的实数 \(t_1,t_2\cdots,t_n\in T\) 和 \(t_1',t_2',\cdots,t_m'\in T\) ，都有 \(n\) 维随机向量 \((X(t_1),X(t_2),\cdots,X(t_n))\) 和 \(m\) 维随机向量 \((Y(t_1'),Y(t_2'),\cdots,Y(t_m'))\) 相互独立，则称随机过程 \(\{X(t)\}\) 和 \(\{Y(t)\}\) 相互独立。

Part 2：二维随机过程的数字特征

二维随机过程的统计性质同样可以用概率分布和数字特征来刻画，由于二维随机过程的有限维分布并不常用，且在实际问题中往往很难求出，因此我们只介绍二维随机过程的数字特征。关于数字特征，除了每个随机过程各自的均值函数和自相关函数之外，我们还需要引入互相关函数和互协方差函数，用来刻画一个二维随机过程中的两个随机过程之间的关系。

1. 互相关函数：\(r_{XY}(s,t)={\rm E}\left[X(s)Y(t)\right]\) 。
2. 互协方差函数：\(C_{XY}(s,t)={\rm Cov}(X(s),Y(t))\) 。

随机过程的相关性：对于随机过程 \(\{X(t):t\in T\}\) 和 \(\{Y(t):t\in T\}\) ，如果对任意的 \(s,t\in T\) ，都有 \(C_{XY}(s,t)=0\) ，则称随机过程 \(\{X(t)\}\) 和 \(\{Y(t)\}\) 不相关。

一般地，如果随机过程 \(\{X(t)\}\) 和 \(\{Y(t)\}\) 不相关，不能推出它们相互独立。但如果随机过程 \(\{X(t)\}\) 和 \(\{Y(t)\}\) 相互独立，且随机过程 \(\{X(t)\}\) 和 \(\{Y(t)\}\) 都是二阶矩过程，则一定有它们不相关。

最后需要强调一点，在使用两个随机过程 \(\{X(t)\}\) 和 \(\{Y(t)\}\) 的互相关函数和互协方差函数之前，需要保证每个随机过程自身都是二阶矩过程，即对每一个 \(t\in T\) 都有 \({\rm E}\left[X(t)\right]^2<\infty\) 和 \({\rm E}\left[Y(t)\right]^2<\infty\) 。