基本概念(二）：方差、协方差、相关系数 原点矩和中心矩

方差

期望反应的时均值概念，方差反应的则是数据的波动概念，为了防止±波动在求和过程中抵消以及防止求abs导致的不可导问题，我们使用平方来统计波动数据。随机变量的方差定义为：

\[D(X)= E[(X-E(X))^2] \]

对上式展开:

\[D(X) = E\lbrace X^2 -2XE(X) + E(X)^2 \rbrace = \\ E(X^2) - 2E(X)E(X) + E(X)^2 = \\ E(X^2) - E(X)^2 \]

方差的性质

1. \(D(X+C) = D(X)\)

证：

\[D(X+C) = E[(X+C)^2] - E(X+C)^2 = \\ E\lbrace X^2 +2CX + C^2\rbrace - E(X)^2 - C^2 - 2CE(X)= \\ E(X^2) - E(X)^2 = D(X) \]

2. \(D(CX) = C^2D(X)\)

证:

\[D(CX) = E[(CX)^2] - [CE(X)]^2 = E(C^2X^2) - C^2E(X)^2 \\ C^2E(X^2) - C^2E(X)^2 = C^2[E(X^2) - E(X)^2] = C^2D(X) \]

3. \(D(X±Y)=D(X)+D(Y)\) 仅XY独立时成立

\[D(X±Y) = E\lbrace X^2 + Y^2 ± 2XY \rbrace - [E(X±Y)]^2 \\ =E(X^2) +E(Y^2) ± 2E(XY) -\lbrace E(X)^2 + E(Y)^2 ±2E(X)E(Y)\rbrace = \\ E(X^2) - E(X)^2 + E(Y^2)-E(Y)^2 + 2[E(XY)-E(X)E(Y)] \]

当\(XY\)独立时，\(E(XY)=E(X)E(Y)\)
则:

\[D(X±Y) = D(X) + D(Y) \]

协方差

协方差的定义为\(Cov(X,Y) = E[(X-EX)(Y-EY)]\)
适当化简上式:

\[Cov(X,Y) = E\lbrace XY + EXEY -XEY-YEX\rbrace = E(XY)-EXEY \]

可以发现其和\(D(X+Y)\)的关系式:

\[D(X+Y)= D(X)+D(Y) + 2[E(XY)- EXEY] = D(X)+D(Y)+2Cov(X,Y) \]

协方差实际使用时，容易受到量纲的影响，比如分析身高相关的协方差时，使用m和cm作为单位，协方差数值上相差1万倍

协方差实际上描述的是变量相关性，当XY独立时，\(E(XY) = EXEY; Cov(X,Y) = 0\)，但不能通过协方差为0判定XY独立，即独立一定不相关，不相关不一定独立

相关系数

定义相关系数为

\[\rho = \frac{Cov(X,Y)}{\sqrt{DX}\sqrt{DY}}, \quad \quad-1 \le\rho\le 1 \]

柯西施瓦兹不等式

\[[E(XY)]^2 \le [EX]^2[EY]^2 \]

证明:
设\(g(t) = E[(tX-Y)^2]\) 易知:\(g(t) \ge 0\)

\[E\lbrace t^2X^2 -2tXY + Y^2\rbrace \ge 0 \\ t^2E(X^2) +EY^2 - 2tE(XY) \ge0 \\ \rightarrow \Delta=4(EXY)^2 - 4EX^2EY^2 \le 0 \\ \rightarrow [E(XY)]^2 \le EX^2EY^2 \]

令\(X_1 = X-EX, Y_1 = Y-EY\)

\[\rho^2= \frac{[E(X_1Y_1)]^2}{EX_1^2EY_1^2} \quad\quad 由柯西施瓦兹不等式 \\ \rho^2 \le 1, 故 -1 \le \rho \le 1 \]

\(\rho\)描述的是随机变量之间的线性关系， 纯线性关系可以表示为:\(Y=aX+ b\); 当\(\rho = -1\)时，变量之间是负的线性关系，当\(\rho = 1\) 时，变量之间是线性关系，当\(\rho = 0\)时，表示两者无线性关系（不是独立）

言外之意，(-1,0)时有负相关，(0,1)时是正相关，越靠近0，相关性越弱

原点矩和中心矩

k阶原点矩定义\(E(X^k)\)，因此期望也叫做一阶原点矩

中心矩定义为\(E[(X-u)^k]\), 因此\(D(X)=E[(X-EX)^2]\)是以EX为中心的二阶中心矩，上面的EX是以原点(0)为中心的一阶矩
实际应用中，很少超过四阶矩
后续的随机过程中，还涉及到矩的应用