方差
期望反应的时均值概念，方差反应的则是数据的波动概念，为了防止±波动在求和过程中抵消以及防止求abs导致的不可导问题，我们使用平方来统计波动数据。随机变量的方差定义为：
\[D(X)= E[(X-E(X))^2]
\]
对上式展开:
\[D(X) = E\lbrace X^2 -2XE(X) + E(X)^2 \rbrace = \\
E(X^2) - 2E(X)E(X) + E(X)^2 = \\ E(X^2) - E(X)^2
\]
方差的性质
- \(D(X+C) = D(X)\)
证：
\[D(X+C) = E[(X+C)^2] - E(X+C)^2 = \\
E\lbrace X^2 +2CX + C^2\rbrace - E(X)^2 - C^2 - 2CE(X)= \\
E(X^2) - E(X)^2 = D(X)
\]
- \(D(CX) = C^2D(X)\)
证:
\[D(CX) = E[(CX)^2] - [CE(X)]^2 = E(C^2X^2) - C^2E(X)^2 \\
C^2E(X^2) - C^2E(X)^2 = C^2[E(X^2) - E(X)^2] = C^2D(X)
\]
- \(D(X±Y)=D(X)+D(Y)\) 仅XY独立时成立
\[D(X±Y) = E\lbrace X^2 + Y^2 ± 2XY \rbrace - [E(X±Y)]^2 \\
=E(X^2) +E(Y^2) ± 2E(XY) -\lbrace E(X)^2 + E(Y)^2 ±2E(X)E(Y)\rbrace = \\
E(X^2) - E(X)^2 + E(Y^2)-E(Y)^2 + 2[E(XY)-E(X)E(Y)]
\]
当\(XY\)独立时，\(E(XY)=E(X)E(Y)\)
则:
\[D(X±Y) = D(X) + D(Y)
\]
协方差
协方差的定义为\(Cov(X,Y) = E[(X-EX)(Y-EY)]\)
适当化简上式:
\[Cov(X,Y) = E\lbrace XY + EXEY -XEY-YEX\rbrace = E(XY)-EXEY
\]
可以发现其和\(D(X+Y)\)的关系式:
\[D(X+Y)= D(X)+D(Y) + 2[E(XY)- EXEY] = D(X)+D(Y)+2Cov(X,Y)
\]
协方差实际使用时，容易受到量纲的影响，比如分析身高相关的协方差时，使用m和cm作为单位，协方差数值上相差1万倍
协方差实际上描述的是变量相关性，当XY独立时，\(E(XY) = EXEY; Cov(X,Y) = 0\)，但不能通过协方差为0判定XY独立，即独立一定不相关，不相关不一定独立
相关系数
定义相关系数为
\[\rho = \frac{Cov(X,Y)}{\sqrt{DX}\sqrt{DY}}, \quad \quad-1 \le\rho\le 1
\]
柯西施瓦兹不等式
\[[E(XY)]^2 \le [EX]^2[EY]^2
\]
证明:
设\(g(t) = E[(tX-Y)^2]\) 易知:\(g(t) \ge 0\)
\[E\lbrace t^2X^2 -2tXY + Y^2\rbrace \ge 0 \\
t^2E(X^2) +EY^2 - 2tE(XY) \ge0 \\
\rightarrow \Delta=4(EXY)^2 - 4EX^2EY^2 \le 0 \\
\rightarrow [E(XY)]^2 \le EX^2EY^2
\]
令\(X_1 = X-EX, Y_1 = Y-EY\)
\[\rho^2= \frac{[E(X_1Y_1)]^2}{EX_1^2EY_1^2} \quad\quad 由柯西施瓦兹不等式 \\
\rho^2 \le 1, 故 -1 \le \rho \le 1
\]
\(\rho\)描述的是随机变量之间的线性关系， 纯线性关系可以表示为:\(Y=aX+ b\); 当\(\rho = -1\)时，变量之间是负的线性关系，当\(\rho = 1\) 时，变量之间是线性关系，当\(\rho = 0\)时，表示两者无线性关系（不是独立）
言外之意，(-1,0)时有负相关，(0,1)时是正相关，越靠近0，相关性越弱
原点矩和中心矩
k阶原点矩定义\(E(X^k)\)，因此期望也叫做一阶原点矩
中心矩定义为\(E[(X-u)^k]\), 因此\(D(X)=E[(X-EX)^2]\)是以EX为中心的二阶中心矩，上面的EX是以原点(0)为中心的一阶矩
实际应用中，很少超过四阶矩
后续的随机过程中，还涉及到矩的应用
