随机过程笔记1：相关函数

b站张颢老师随机过程笔记。建议先修课程：概率论，矩阵论或线性代数，高等数学。

由于张颢老师似乎是教电子的，里面的很多举例和信号相关，可以根据自己的实际来看，或者看看信号与系统。

目录

随机过程（Stochastic Process）

一组随机变量，着眼于随机变量之间的关联，t只是一个index不一定是时间，t是两维就是随机场

  • Correlation(linear)：相关

    • 时域 Time Domain：相关函数 correlation function

    • 频域 Frequency Domain：功率谱密度 Spectrum

    • 典型的相关过程：高斯过程 Gaussian Process

  • Markov Property

    • 离散时间

    • 连续时间

    • 典型的马尔可夫过程：泊松过程 Poisson Process

  • Martingale

    • Optional Theorem

1.相关函数

线性相关

对于多个随机变量的关系研究，最开始是联合概率密度。对于随机变量 x,y。联合分布Joint Distribution

\(f_{x,y}(x,y)=\frac{\partial^{2}}{\partial x\partial y}F_{x,y}(x,y)\)

\(F_{x,y}(x,y)=P(X\leq x,Y\leq y)\)

从图像看相关性：看一个变量发生变化时，另外一个变量的分布或者概率是否发生变化

相关系数：对于线性相关，相关系数越大，相关性越高，对于二维变量，其图像表现得越细窄

我们试图建立两个随机变量的线性关系 \(Y=\alpha X\)，但是这样忽略了变量的变化是有范围的，不是单纯的线性关系，可以将其扩展为\(E(Y-\alpha X)^{2}\)，即均方误差（mean square error）。对于\(\alpha\)，由于希望找到\(\min\limits_{\alpha}E(Y-\alpha X)^{2}\)，则\(\alpha_{opt}=\frac{E(XY)}{E(X^{2})}\)。上面的部分更关键。

相关、不相关和独立

  • 相关\(E(XY)\)

  • 去中心化的相关\(E[(X-EX)(Y-EY)]=E(XY)-E(XEY)-E(YEX)-EXEY=E(XY)-EXEY\)，减去了一个常数，两者不再区分。

  • 不相关 Uncorrelated：\(E(XY)=0\) 或者 \(E(X-EX)E(Y-EY)=0\)，即\(E(XY)=EXEY\)。是线性的关系不存在，可能存在其他关系

  • 独立：更强

相关系数

一个重要的理解：几何上的理解 Geometric View，看作是一种内积 \(E(XY)=<X,Y>\)

内积满足：对称性，非负性，双线性性（双变量各自满足线性性）

内积量化成角度：\(cos<x,y>=\frac{<x,y>}{(<x,x><u,y>)^{\frac{1}{2}}}\)

随机变量的相关对应到线性空间里两个矢量的夹角：Randow Variable to Vector

flowchart LR A[相关]-->|几何角度|B[内积]-->|量化|C[夹角]

由此，将线性空间内的夹角扩展到随机变量的相关系数有\(cos=\frac{E(XY)}{(EX^2EY^2)^{\frac{1}{2}}}\)

这里的\(EX^2\)是\(E(X^{2})\)

根据Cauchy-Schwars不等式，保证\(-1\leq cos\leq 1\)

Cauchy-Schwars的不同形式：

  1. \(|\sum\limits_{k}x_{x}y_{k}|\leq(\sum\limits_{k}x^{2}_{k})^{\frac{1}{2}}(\sum\limits_{k}y^{2}_{k})^{\frac{1}{2}}\)

  2. \(\int f(x)g(x)dx\leq (\int f^{2}(x)dx\int g^2(x)dx)^{\frac{1}{2}}\)

  3. 一般形式：\(|<x,y>|\leq|<x,x><y,y>|^{\frac{1}{2}}\)

都是内积。反映测不准原理。

有了几何上的理解，对于两个随机变量X，Y，在线性空间有夹角\(\theta\)，计算Y在X上的投影，则有\(||Y||cos(\theta)\frac{X}{||X||}=(\frac{||Y||}{||X||}cos(\theta))X\)，由于\(\frac{||Y||}{||X||}\frac{E(XY)}{||X||||Y||}=\frac{E(XY)}{EX^2}=\alpha\)，所以Y在X上的投影为\(\alpha X\)，和上面的\(\alpha\)一致（上面没有写代数上的推导）

相关函数

相关函数 Correlation Funtion，定义在随机过程上

  • Auto自相关：\(R_{X}(t,s)=E(X(t)X(s))\)，Binary二元的。性质

    • 对称性：\(R_{X}(t,s)=R_{X}(s,t)\)
    • 非负性：\(R_X(t,t)=E(X^2(t))\geq 0\)，对角线上是非负的
    • 满足Cauchy-Schwars不等式：\(|R_{X}(t,s)|\leq (R_{X}(t,t)R_{X}(s,s))^{\frac{1}{2}}\)

    特点来自于相关运算，即内积

    由于这样的相关还是二元的，希望把它转化成一元的，因此，我们需要做一个假设，即平稳性。

    证明过程：

    \(g(\alpha)=<\alpha x+y,\alpha x+y>=<x,x>\alpha^2+2<x,y>\alpha+<y,y>\)

  • Invariance to Stationary（平稳性）：平稳性是一种不变特征，指随机过程的某一类统计特性随着时间变化而保持不变的特性

    • 宽平稳

      1. 均值不变，是常数：\(E[X(t)]=m(t)=m\)

      2. 相关函数满足\(R_X(t,s)=R_X(t+D,s+D),\forall D \in \mathbb{R}\)，这时相关函数只与两个时刻的差值有关，即\(R_X(t,s)=R_X(t-s)=R_X(\tau)\)，而和时刻的具体位置无关。相关函数变成了一元的了。

      1. 搞清楚什么是确定的，什么是随机的
      2. 因此更加关注上面的第二条。
      1. 此时相关函数的性质：

      • 对称性：\(R_X(\tau)=R_X(-\tau)\)。即宽平稳情况下相关函数是偶函数

      • 柯西不等式：\(|R_X(\tau)|\leq R_X(0)\)

      • Positive Definite正定性：

        矩阵正定：\(A\in \mathbb{R}^{n\times n},\alpha \in \mathbb{R}^n,\alpha^TA\alpha \geq 0\)

        函数正定：函数\(f(x)\)正定，即任取n个变量\(x_1,x_2,...,x_n\)，构成矩阵的\(A=(a_{ij})_{n\times n},a_{ij}=f(x_i-x_j)\)正定

        • 若正定，则\(R_X(0)\geq0\)。取1个变量，则\(A=|R_X(x_1-x_1)|\)，一个元素，\(R_X(x_1-x_1)=R_X(0)\geq0\)
        • 若正定，则一定满足柯西不等式\(|R_X(\tau)|\leq R_X(0)\)。取两个变量\(x_1=0,x_2=\tau\)，则有矩阵

        \[A= \begin{pmatrix} R_X(x_1-x_1) & R_X(x_1-x_2)\\ R_X(x_2-x_1) & R_X(x_2-x_2) \end{pmatrix} = \begin{pmatrix} R_X(0) & R_X(-\tau)\\ R_X(\tau) & R_X(0) \end{pmatrix} \geq0 \]

        ​ 因为，正定矩阵对称，所以\(R_X(\tau)=R_X(-\tau)\)。柯西不等式也因行列式为正可得。

        • 验证正定：任取n个时刻，有\(\tau_1,\tau_2,...,\tau_n\)，构成矩阵\(A=(f(x_i-x_j))_{ij}\geq 0\)。任取\(\alpha \in \mathbb{R}^n,\alpha = (\alpha_1,...,\alpha_n)^T\)。计算

          \[\begin{aligned} \alpha ^TA\alpha &=\sum_{i=1}^n\sum_{j=1}^nR_X(\tau_i-\tau_j)\alpha_i\alpha_j\\ &=\sum_{i=1}^n\sum_{j=1}^nE[X(\tau_i)X(\tau_j)]\alpha_i\alpha_j\\ &=E[\sum_{i=1}^n\sum_{j=1}^nX(\tau_i)X(\tau_j)\alpha_i\alpha_j](因为此处\alpha没有随机性)\\ &=E[\sum_{i=1}^nX(\tau_i)\alpha_i]^2\geq0(最后一步化简可能比较难理解，注意这里不是E[\sum_{i=1}^n(X(\tau_i)\alpha_i)^2] \end{aligned} \]

          相关矩阵Correlation Matrix。下面是正定证明的另一种写法。

          \(X=(X(\tau_1),...,X(\tau_n))^T,(R_X(\tau_i-\tau_j))_{ij}=E(XX^T)=R\)

          \(\alpha^TR\alpha=\alpha^TE(XX^T)\alpha=E(\alpha^TXX^T\alpha)=E(\alpha^TX)^2\)

        • 相关函数是正定函数，这是其特征性质Characteristic Property，即充分必要。正定函数一定是相关函数，任何一个正定函数一定能找到某个随机过程，使得该正定函数是其相关函数。

      1. 如果有\(R(0)=R(\tau),\tau\neq0\)，则一定能推断出\(R(\tau)=R(\tau+T)\)，即相关函数一定是周期的。

      验证：

      均方周期性mean square Periodic

      \[\begin{aligned} E|X(\tau+T)-X(\tau)|^2&=E[X^2(\tau+T)]+E[X^2(\tau)]-2E[X(\tau+T)X(\tau)]\\ &=2R_X(0)-2R_X(T)=0\\ |R(\tau+T)-R(\tau)|&=|E[X(\tau+T)X(0)]-E[X(\tau)X(0)]|\\ &=|E[X(0)(X(\tau+T)-X(\tau))]|\\ &\leq (E[X^2(0)]E|X(\tau+T)-X(\tau)|^2)^\frac{1}{2}=0 \end{aligned} \]

      1. 是否存在Rectangle Window（矩形窗）一样的相关函数？不存在。
        1. 相关函数的一个特性：相关函数在0点连续，则在任意点连续（局部--->总体，来源于平稳的特点）
        2. 不是正定的，因为傅里叶函数不是正的，不是相关函数
      2. 三角波是否是相关函数？是。
        1. 时域卷积为频域乘积。则傅里叶变换为正，故正定，是相关函数

      证明1：

      两个随机变量之间的距离，是均方距离mean square distance ，进而推广到随机极限（满足范数的定义：非负性、对称性、三角不等式（通过柯西不等式可推导））

      均方连续性mean square continuous

      \[\begin{aligned} &E|X(\tau+\Delta)-X(\tau)|^2 =2R_X(0)-2R_X(\Delta)\\ &因为在0点连续，因此 \lim_{\Delta\rightarrow0}E|X(\tau+\Delta)-X(\tau)|^2=0\\ &|R(\tau+\Delta)-R(\tau)|\leq(E[X^2(0)]E|X(\tau+\Delta)-X(\tau)|^2)^\frac{1}{2}=0\\ &因此\lim_{\Delta\rightarrow0}|R(\tau+\Delta)-R(\tau)|=0 \end{aligned} \]

      证明2：

      Bochner指出：一个函数是正定的，当且仅当该函数的傅里叶变换是正的。（这里提供了频域研究的思路，而宽平稳是可以做频域分析的）

      \[f(x)\ is\ P.d\Leftrightarrow\int_{-\infty}^{+\infty}f(x)e^{-j\omega x}dx\geq0 \]

      矩形窗的傅里叶变换是Sa函数，不满足条件。

      下面验证Bochner提出的那句话：

      已知\(F(\omega)=\int_{-\infty}^{+\infty}f(x)e^{-j\omega x}dx\geq0\)。证明：\(f(x)=\frac{1}{2\pi}\int_{-\infty}^{+\infty}F(\omega)e^{j\omega x}d\omega\)正定。

      先看\(g(x)=e^{j\omega x}\)：即\(\forall x_1,x_2,...,x_n.(e^{j\omega(x_i-x_j)})_{ij}=B,\forall \alpha\in C^n\Rightarrow\alpha^HB\alpha\geq0\)

      \[\begin{aligned} \alpha^HB\alpha&=\sum_{i=1}^n\sum_{j=1}^ne^{j\omega(x_i-x_j)}\overline{\alpha_i}\alpha_j\\ &=|\sum_{i=1}^ne^{j\omega(x_i)}\overline{\alpha_i}|^2\geq0 \end{aligned} \]

      \(h(\omega,x)\ is \ P.d\Rightarrow\sum_{k=1}^na_kh(\omega_k,x)\ is \ P.d,a_k\geq0\Rightarrow\int_{-\infty}^{+\infty}a(\omega)h(\omega,x)d\omega\)

      随机变量：样本空间映射到实数轴的确定性函数。

      概率：样本空间包含了所有的可能性，然后P(A)=p，这是一个确定性函数，本身表示的是样本空间某个子集的出现可能性的大小。是先验的。

      概率：从模型(先验)到决策

      统计：从数据得到模型

      flowchart LR A[数据data]-->|统计statistic|B[模型model]-->|概率Probability|C[决策decision] A-->|大数据big data|C

例1：Modulated Signal。\(X(t)=A(t)cos(2\pi f_0t+\theta),A(t):随机,\theta \sim v(0,a\pi)，A(t)与\theta\) 独立。证明宽平稳：

先看一阶矩：

\[\begin{aligned} E[X(t)]&=E[A(t)]E[cos(2\pi f_0t+\theta)]\\ &=E[A(t)]\int^{2\pi}_{0}cos(2\pi f_0t+\theta)d\theta \\ &=0 \end{aligned} \]

再看相关函数：

\[\begin{aligned} R_X(t,s)&=E[X(t)X(s)]\\ &=E[A(t)A(s)]E[cos(2\pi f_0t+\theta)cos(2\pi f_0s+\theta)]\\ &=E[A(t)A(s)]\frac{1}{2}(E[cos(2\pi f_0(t-s))]+E[cos(2\pi f_0(t+s)+2\theta)])\\ &=\frac{1}{2}E[A(t)A(s)]E[cos(2\pi f_0(t-s))] \end{aligned} \]

可见，如果振幅调制本身是宽平稳的，则整体的信号是宽平稳的。

例2：Random Telegraph Signal。随机取1或-1。已知在[s,t]时间内，切换k次的概率为 \(P=\frac{\lambda(t-s)^k}{k!}e^{-\lambda(t-s)}\)。泊松分布Poisson Distribution。证明宽平稳。

计算二阶矩（相关函数）：

\[\begin{aligned} E[X(t)X(s)]&=R_X(t,s)\\ &=1\cdot P_1+(-1)\cdot P_{-1}\\ &=\sum_{k \in even}\frac{\lambda(t-s)^k}{k!}-\sum_{k \in odd}\frac{\lambda(t-s)^k}{k!}\\ &=e^{-2\lambda(t-s)} \end{aligned} \]

其中，结果只有1和-1两种可能，故需处理两种结果的概率即可。而结果是1说明信号翻转了偶数次，结果是-1说明翻转了奇数次。因为

\[\begin{aligned} \sum \frac{\lambda(t-s)^k}{k!}&=e^{\lambda(t-s)}\\ \sum \frac{[-\lambda(t-s)]^k}{k!}&=e^{-\lambda(t-s)} \end{aligned} \]

则

\[\begin{aligned} \sum_{k \in even}\frac{\lambda(t-s)^k}{k!} &=\frac{1}{2}[e^{\lambda(t-s)}+e^{-\lambda(t-s)}]\\ &=\frac{1}{2}[1+e^{-2\lambda(t-s)}]\\ \sum_{k \in odd}\frac{\lambda(t-s)^k}{k!} &=\frac{1}{2}[e^{\lambda(t-s)}-e^{-\lambda(t-s)}]\\ &=\frac{1}{2}[1-e^{-2\lambda(t-s)}] \end{aligned} \]

2.从相关到随机过程

相关

相关是对两个随机变量而言的\(X,Y\)，计算相关\(E(XY)\)。

  • 从代数上讲，内积
  • 从几何上讲，夹角。如此有了正交、投影等概念
  • 从随机上讲，期望

随机过程

随机过程X(t)，t：Index Set只是一个指标集（Time就是随机过程，Space就是随机场）。用相关函数研究随机过程，\(R_X(t,s)=E(X(t)X(s))\)，是一个确定性的二元函数。如果随机过程满足平稳性，如宽平稳，则相关函数只依赖于时间差,即\(R_X(t,s)=R_X(t-s)\)

\(X(t)=X(\omega,t),\Omega\times\mathbb{R}\rightarrow\mathbb{R}\)

  • 映射关系：给定t，得到一个随机变量X（关心随机变量之间的关系）。需要知道的是，随机变量本身也是一个函数

  • \(X(t,w)\)，实际上是一个二元函数，不止依赖于t，还依赖于样本空间里的样本点w，w体现了随机性

  • 因此，给定w，得到一个关于时间的函数，不再有不确定性，该函数称为样本轨道Sample Path

样本轨道在不同时刻的取值不是完全独立的，受到一种关系的约束，随机过程在不同时刻得到的不同的随机变量之间有着相互的约束

希望研究，不确定性下确定的东西，随着时间变化下的趋势

posted @ 2022-02-17 21:13  piukaty  阅读(2855)  评论(2)  编辑  收藏  举报