随机过程笔记1：相关函数

b站张颢老师随机过程笔记。建议先修课程：概率论，矩阵论或线性代数，高等数学。

由于张颢老师似乎是教电子的，里面的很多举例和信号相关，可以根据自己的实际来看，或者看看信号与系统。

随机过程（Stochastic Process）
- 1.相关函数
- 2.从相关到随机过程
  - 相关
  - 随机过程

随机过程（Stochastic Process）

一组随机变量，着眼于随机变量之间的关联，t只是一个index不一定是时间，t是两维就是随机场

Correlation(linear)：相关
- 时域 Time Domain：相关函数 correlation function
- 频域 Frequency Domain：功率谱密度 Spectrum
- 典型的相关过程：高斯过程 Gaussian Process
Markov Property
- 离散时间
- 连续时间
- 典型的马尔可夫过程：泊松过程 Poisson Process
Martingale
- Optional Theorem

1.相关函数

线性相关

对于多个随机变量的关系研究，最开始是联合概率密度。对于随机变量 x,y。联合分布Joint Distribution

$f_{x,y}(x,y)=\frac{\partial^{2}}{\partial x\partial y}F_{x,y}(x,y)$

$F_{x,y}(x,y)=P(X\leq x,Y\leq y)$

从图像看相关性：看一个变量发生变化时，另外一个变量的分布或者概率是否发生变化

相关系数：对于线性相关，相关系数越大，相关性越高，对于二维变量，其图像表现得越细窄

我们试图建立两个随机变量的线性关系 $Y=\alpha X$ ，但是这样忽略了变量的变化是有范围的，不是单纯的线性关系，可以将其扩展为 $E(Y-\alpha X)^{2}$ ，即均方误差（mean square error）。对于 $\alpha$ ，由于希望找到 $\min\limits_{\alpha}E(Y-\alpha X)^{2}$ ，则 $\alpha_{opt}=\frac{E(XY)}{E(X^{2})}$ 。上面的部分更关键。

相关函数

相关函数 Correlation Funtion，定义在随机过程上

Auto自相关： $R_{X}(t,s)=E(X(t)X(s))$ ，Binary二元的。性质
- 对称性： $R_{X}(t,s)=R_{X}(s,t)$
- 非负性： $R_X(t,t)=E(X^2(t))\geq 0$ ，对角线上是非负的
- 满足Cauchy-Schwars不等式： $|R_{X}(t,s)|\leq (R_{X}(t,t)R_{X}(s,s))^{\frac{1}{2}}$
特点来自于相关运算，即内积

由于这样的相关还是二元的，希望把它转化成一元的，因此，我们需要做一个假设，即平稳性。

证明过程：

$g(\alpha)=<\alpha x+y,\alpha x+y>=<x,x>\alpha^2+2<x,y>\alpha+<y,y>$
Invariance to Stationary（平稳性）：平稳性是一种不变特征，指随机过程的某一类统计特性随着时间变化而保持不变的特性
- 宽平稳
  1. 均值不变，是常数： $E[X(t)]=m(t)=m$
  2. 相关函数满足 $R_X(t,s)=R_X(t+D,s+D),\forall D \in \mathbb{R}$ ，这时相关函数只与两个时刻的差值有关，即 $R_X(t,s)=R_X(t-s)=R_X(\tau)$ ，而和时刻的具体位置无关。相关函数变成了一元的了。
  1. 搞清楚什么是确定的，什么是随机的
  2. 因此更加关注上面的第二条。
  1. 此时相关函数的性质：
  - 对称性： $R_X(\tau)=R_X(-\tau)$ 。即宽平稳情况下相关函数是偶函数
  - 柯西不等式： $|R_X(\tau)|\leq R_X(0)$
  - Positive Definite正定性：
    
    矩阵正定： $A\in \mathbb{R}^{n\times n},\alpha \in \mathbb{R}^n,\alpha^TA\alpha \geq 0$
    
    函数正定：函数 $f(x)$ 正定，即任取n个变量 $x_1,x_2,...,x_n$ ，构成矩阵的 $A=(a_{ij})_{n\times n},a_{ij}=f(x_i-x_j)$ 正定
    - 若正定，则 $R_X(0)\geq0$ 。取1个变量，则 $A=|R_X(x_1-x_1)|$ ，一个元素， $R_X(x_1-x_1)=R_X(0)\geq0$
    - 若正定，则一定满足柯西不等式 $|R_X(\tau)|\leq R_X(0)$ 。取两个变量 $x_1=0,x_2=\tau$ ，则有矩阵
    $A= \begin{pmatrix} R_X(x_1-x_1) & R_X(x_1-x_2)\\ R_X(x_2-x_1) & R_X(x_2-x_2) \end{pmatrix} = \begin{pmatrix} R_X(0) & R_X(-\tau)\\ R_X(\tau) & R_X(0) \end{pmatrix} \geq0$
    因为，正定矩阵对称，所以 $R_X(\tau)=R_X(-\tau)$ 。柯西不等式也因行列式为正可得。
    - 验证正定：任取n个时刻，有 $\tau_1,\tau_2,...,\tau_n$ ，构成矩阵 $A=(f(x_i-x_j))_{ij}\geq 0$ 。任取 $\alpha \in \mathbb{R}^n,\alpha = (\alpha_1,...,\alpha_n)^T$ 。计算
      
      $\begin{aligned} \alpha ^TA\alpha &=\sum_{i=1}^n\sum_{j=1}^nR_X(\tau_i-\tau_j)\alpha_i\alpha_j\\ &=\sum_{i=1}^n\sum_{j=1}^nE[X(\tau_i)X(\tau_j)]\alpha_i\alpha_j\\ &=E[\sum_{i=1}^n\sum_{j=1}^nX(\tau_i)X(\tau_j)\alpha_i\alpha_j](因为此处\alpha没有随机性)\\ &=E[\sum_{i=1}^nX(\tau_i)\alpha_i]^2\geq0(最后一步化简可能比较难理解，注意这里不是E[\sum_{i=1}^n(X(\tau_i)\alpha_i)^2] \end{aligned}$
      
      相关矩阵Correlation Matrix。下面是正定证明的另一种写法。
      
      $X=(X(\tau_1),...,X(\tau_n))^T,(R_X(\tau_i-\tau_j))_{ij}=E(XX^T)=R$
      
      $\alpha^TR\alpha=\alpha^TE(XX^T)\alpha=E(\alpha^TXX^T\alpha)=E(\alpha^TX)^2$
    - 相关函数是正定函数，这是其特征性质Characteristic Property，即充分必要。正定函数一定是相关函数，任何一个正定函数一定能找到某个随机过程，使得该正定函数是其相关函数。
  1. 如果有 $R(0)=R(\tau),\tau\neq0$ ，则一定能推断出 $R(\tau)=R(\tau+T)$ ，即相关函数一定是周期的。
  验证：
  
  均方周期性mean square Periodic
  
  $\begin{aligned} E|X(\tau+T)-X(\tau)|^2&=E[X^2(\tau+T)]+E[X^2(\tau)]-2E[X(\tau+T)X(\tau)]\\ &=2R_X(0)-2R_X(T)=0\\ |R(\tau+T)-R(\tau)|&=|E[X(\tau+T)X(0)]-E[X(\tau)X(0)]|\\ &=|E[X(0)(X(\tau+T)-X(\tau))]|\\ &\leq (E[X^2(0)]E|X(\tau+T)-X(\tau)|^2)^\frac{1}{2}=0 \end{aligned}$
  1. 是否存在Rectangle Window（矩形窗）一样的相关函数？不存在。
    1. 相关函数的一个特性：相关函数在0点连续，则在任意点连续（局部--->总体，来源于平稳的特点）
    2. 不是正定的，因为傅里叶函数不是正的，不是相关函数
  2. 三角波是否是相关函数？是。
    1. 时域卷积为频域乘积。则傅里叶变换为正，故正定，是相关函数
  证明1：
  
  两个随机变量之间的距离，是均方距离mean square distance ，进而推广到随机极限（满足范数的定义：非负性、对称性、三角不等式（通过柯西不等式可推导））
  
  均方连续性mean square continuous
  
  $\begin{aligned} &E|X(\tau+\Delta)-X(\tau)|^2 =2R_X(0)-2R_X(\Delta)\\ &因为在0点连续，因此 \lim_{\Delta\rightarrow0}E|X(\tau+\Delta)-X(\tau)|^2=0\\ &|R(\tau+\Delta)-R(\tau)|\leq(E[X^2(0)]E|X(\tau+\Delta)-X(\tau)|^2)^\frac{1}{2}=0\\ &因此\lim_{\Delta\rightarrow0}|R(\tau+\Delta)-R(\tau)|=0 \end{aligned}$
  证明2：
  
  Bochner指出：一个函数是正定的，当且仅当该函数的傅里叶变换是正的。（这里提供了频域研究的思路，而宽平稳是可以做频域分析的）
  
  $f(x)\ is\ P.d\Leftrightarrow\int_{-\infty}^{+\infty}f(x)e^{-j\omega x}dx\geq0$
  矩形窗的傅里叶变换是Sa函数，不满足条件。
  
  下面验证Bochner提出的那句话：
  
  已知 $F(\omega)=\int_{-\infty}^{+\infty}f(x)e^{-j\omega x}dx\geq0$ 。证明： $f(x)=\frac{1}{2\pi}\int_{-\infty}^{+\infty}F(\omega)e^{j\omega x}d\omega$ 正定。
  
  先看 $g(x)=e^{j\omega x}$ ：即 $\forall x_1,x_2,...,x_n.(e^{j\omega(x_i-x_j)})_{ij}=B,\forall \alpha\in C^n\Rightarrow\alpha^HB\alpha\geq0$
  
  $\begin{aligned} \alpha^HB\alpha&=\sum_{i=1}^n\sum_{j=1}^ne^{j\omega(x_i-x_j)}\overline{\alpha_i}\alpha_j\\ &=|\sum_{i=1}^ne^{j\omega(x_i)}\overline{\alpha_i}|^2\geq0 \end{aligned}$
  $h(\omega,x)\ is \ P.d\Rightarrow\sum_{k=1}^na_kh(\omega_k,x)\ is \ P.d,a_k\geq0\Rightarrow\int_{-\infty}^{+\infty}a(\omega)h(\omega,x)d\omega$
  
  随机变量：样本空间映射到实数轴的确定性函数。
  
  概率：样本空间包含了所有的可能性，然后P(A)=p，这是一个确定性函数，本身表示的是样本空间某个子集的出现可能性的大小。是先验的。
  
  概率：从模型(先验)到决策
  
  统计：从数据得到模型

例1：Modulated Signal。 $X(t)=A(t)cos(2\pi f_0t+\theta),A(t):随机,\theta \sim v(0,a\pi)，A(t)与\theta$ 独立。证明宽平稳：

先看一阶矩：

\begin{aligned} E [X (t)] & = E [A (t)] E [c o s (2 π f_{0} t + θ)] \\ = E [A (t)] \int_{0}^{2 π} c o s (2 π f_{0} t + θ) d θ \\ = 0 \end{aligned}

$\begin{aligned} E[X(t)]&=E[A(t)]E[cos(2\pi f_0t+\theta)]\\ &=E[A(t)]\int^{2\pi}_{0}cos(2\pi f_0t+\theta)d\theta \\ &=0 \end{aligned}$

再看相关函数：

\begin{aligned} R_{X} (t, s) & = E [X (t) X (s)] \\ = E [A (t) A (s)] E [c o s (2 π f_{0} t + θ) c o s (2 π f_{0} s + θ)] \\ = E [A (t) A (s)] \frac{1}{2} (E [c o s (2 π f_{0} (t - s))] + E [c o s (2 π f_{0} (t + s) + 2 θ)]) \\ = \frac{1}{2} E [A (t) A (s)] E [c o s (2 π f_{0} (t - s))] \end{aligned}

$\begin{aligned} R_X(t,s)&=E[X(t)X(s)]\\ &=E[A(t)A(s)]E[cos(2\pi f_0t+\theta)cos(2\pi f_0s+\theta)]\\ &=E[A(t)A(s)]\frac{1}{2}(E[cos(2\pi f_0(t-s))]+E[cos(2\pi f_0(t+s)+2\theta)])\\ &=\frac{1}{2}E[A(t)A(s)]E[cos(2\pi f_0(t-s))] \end{aligned}$

可见，如果振幅调制本身是宽平稳的，则整体的信号是宽平稳的。

例2：Random Telegraph Signal。随机取1或-1。已知在[s,t]时间内，切换k次的概率为 $P=\frac{\lambda(t-s)^k}{k!}e^{-\lambda(t-s)}$ 。泊松分布Poisson Distribution。证明宽平稳。

计算二阶矩（相关函数）：

\begin{aligned} E [X (t) X (s)] & = R_{X} (t, s) \\ = 1 \cdot P_{1} + (- 1) \cdot P_{- 1} \\ = \sum_{k \in e v e n} \frac{λ (t - s)^{k}}{k!} - \sum_{k \in o d d} \frac{λ (t - s)^{k}}{k!} \\ = e^{- 2 λ (t - s)} \end{aligned}

$\begin{aligned} E[X(t)X(s)]&=R_X(t,s)\\ &=1\cdot P_1+(-1)\cdot P_{-1}\\ &=\sum_{k \in even}\frac{\lambda(t-s)^k}{k!}-\sum_{k \in odd}\frac{\lambda(t-s)^k}{k!}\\ &=e^{-2\lambda(t-s)} \end{aligned}$

其中，结果只有1和-1两种可能，故需处理两种结果的概率即可。而结果是1说明信号翻转了偶数次，结果是-1说明翻转了奇数次。因为

\begin{aligned} \sum \frac{λ (t - s)^{k}}{k!} & = e^{λ (t - s)} \\ \sum \frac{[- λ (t - s)]^{k}}{k!} & = e^{- λ (t - s)} \end{aligned}

$\begin{aligned} \sum \frac{\lambda(t-s)^k}{k!}&=e^{\lambda(t-s)}\\ \sum \frac{[-\lambda(t-s)]^k}{k!}&=e^{-\lambda(t-s)} \end{aligned}$

则

\begin{aligned} \sum_{k \in e v e n} \frac{λ (t - s)^{k}}{k!} & = \frac{1}{2} [e^{λ (t - s)} + e^{- λ (t - s)}] \\ = \frac{1}{2} [1 + e^{- 2 λ (t - s)}] \\ \sum_{k \in o d d} \frac{λ (t - s)^{k}}{k!} & = \frac{1}{2} [e^{λ (t - s)} - e^{- λ (t - s)}] \\ = \frac{1}{2} [1 - e^{- 2 λ (t - s)}] \end{aligned}

$\begin{aligned} \sum_{k \in even}\frac{\lambda(t-s)^k}{k!} &=\frac{1}{2}[e^{\lambda(t-s)}+e^{-\lambda(t-s)}]\\ &=\frac{1}{2}[1+e^{-2\lambda(t-s)}]\\ \sum_{k \in odd}\frac{\lambda(t-s)^k}{k!} &=\frac{1}{2}[e^{\lambda(t-s)}-e^{-\lambda(t-s)}]\\ &=\frac{1}{2}[1-e^{-2\lambda(t-s)}] \end{aligned}$

2.从相关到随机过程

随机过程

随机过程X(t)，t：Index Set只是一个指标集（Time就是随机过程，Space就是随机场）。用相关函数研究随机过程， $R_X(t,s)=E(X(t)X(s))$ ，是一个确定性的二元函数。如果随机过程满足平稳性，如宽平稳，则相关函数只依赖于时间差,即 $R_X(t,s)=R_X(t-s)$