基本概念(二）：方差、协方差、相关系数 原点矩和中心矩

方差

期望反应的时均值概念，方差反应的则是数据的波动概念，为了防止±波动在求和过程中抵消以及防止求abs导致的不可导问题，我们使用平方来统计波动数据。随机变量的方差定义为：

$$D(X)= E[(X-E(X))^2]$$

对上式展开:

$$D(X) = E\lbrace X^2 -2XE(X) + E(X)^2 \rbrace = \\ E(X^2) - 2E(X)E(X) + E(X)^2 = \\ E(X^2) - E(X)^2$$

方差的性质

1. $D(X+C) = D(X)$

证：

$$D(X+C) = E[(X+C)^2] - E(X+C)^2 = \\ E\lbrace X^2 +2CX + C^2\rbrace - E(X)^2 - C^2 - 2CE(X)= \\ E(X^2) - E(X)^2 = D(X)$$

2. $D(CX) = C^2D(X)$

证:

$$D(CX) = E[(CX)^2] - [CE(X)]^2 = E(C^2X^2) - C^2E(X)^2 \\ C^2E(X^2) - C^2E(X)^2 = C^2[E(X^2) - E(X)^2] = C^2D(X)$$

3. $D(X±Y)=D(X)+D(Y)$ 仅XY独立时成立

$$D(X±Y) = E\lbrace X^2 + Y^2 ± 2XY \rbrace - [E(X±Y)]^2 \\ =E(X^2) +E(Y^2) ± 2E(XY) -\lbrace E(X)^2 + E(Y)^2 ±2E(X)E(Y)\rbrace = \\ E(X^2) - E(X)^2 + E(Y^2)-E(Y)^2 + 2[E(XY)-E(X)E(Y)]$$

当$XY$独立时，$E(XY)=E(X)E(Y)$
则:

$$D(X±Y) = D(X) + D(Y)$$

协方差

协方差的定义为$Cov(X,Y) = E[(X-EX)(Y-EY)]$
适当化简上式:

$$Cov(X,Y) = E\lbrace XY + EXEY -XEY-YEX\rbrace = E(XY)-EXEY$$

可以发现其和$D(X+Y)$的关系式:

$$D(X+Y)= D(X)+D(Y) + 2[E(XY)- EXEY] = D(X)+D(Y)+2Cov(X,Y)$$

协方差实际使用时，容易受到量纲的影响，比如分析身高相关的协方差时，使用m和cm作为单位，协方差数值上相差1万倍

协方差实际上描述的是变量相关性，当XY独立时，$E(XY) = EXEY; Cov(X,Y) = 0$，但不能通过协方差为0判定XY独立，即独立一定不相关，不相关不一定独立

相关系数

定义相关系数为

$$\rho = \frac{Cov(X,Y)}{\sqrt{DX}\sqrt{DY}}, \quad \quad-1 \le\rho\le 1$$

柯西施瓦兹不等式

$$[E(XY)]^2 \le [EX]^2[EY]^2$$

证明:
设$g(t) = E[(tX-Y)^2]$ 易知:$g(t) \ge 0$

$$E\lbrace t^2X^2 -2tXY + Y^2\rbrace \ge 0 \\ t^2E(X^2) +EY^2 - 2tE(XY) \ge0 \\ \rightarrow \Delta=4(EXY)^2 - 4EX^2EY^2 \le 0 \\ \rightarrow [E(XY)]^2 \le EX^2EY^2$$

令$X_1 = X-EX, Y_1 = Y-EY$

$$\rho^2= \frac{[E(X_1Y_1)]^2}{EX_1^2EY_1^2} \quad\quad 由柯西施瓦兹不等式 \\ \rho^2 \le 1, 故 -1 \le \rho \le 1$$

$\rho$描述的是随机变量之间的线性关系， 纯线性关系可以表示为:$Y=aX+ b$; 当$\rho = -1$时，变量之间是负的线性关系，当$\rho = 1$ 时，变量之间是线性关系，当$\rho = 0$时，表示两者无线性关系（不是独立）

言外之意，(-1,0)时有负相关，(0,1)时是正相关，越靠近0，相关性越弱

原点矩和中心矩

k阶原点矩定义$E(X^k)$，因此期望也叫做一阶原点矩

中心矩定义为$E[(X-u)^k]$, 因此$D(X)=E[(X-EX)^2]$是以EX为中心的二阶中心矩，上面的EX是以原点(0)为中心的一阶矩
实际应用中，很少超过四阶矩
后续的随机过程中，还涉及到矩的应用