期望,方差,协方差,协方差矩阵

1.期望

定义

$$E(x)=\sum\limits_{k=1}^{\infty}x_kp_k-离散型$$

$$E(x)=\int_{-\infty}^{+\infty}xf(x)dx-连续型$$

性质

• $E(C)=C,C是常数$
• $E(CX)=CE(X),C是常数$
• $E(X+Y)=E(X)+E(Y)$
• $若X,Y相互独立，有E(XY)=E(X)E(Y)$

2.方差

定义

$$D(X)=\sum\limits_{k=1}^{\infty}[x_k-E(X)]^2 p_k-离散型$$

$$D(X)=\int_{-\infty}^{+\infty}[x-E(X)]^2f(x)dx$$

性质

• $D(X)=E(X^2)-[E(X)]^2$
• $D(C)=0,C是常数$
• $D(CX)=C^2D(X),C是常数$
• $D(X+C)=D(X),C是常数$
• $两个随机变量有$

$$D(X+Y)=D(X)+D(Y)+2E[(X-E(X)(Y-E(Y))]$$

• $若两个随机变量独立，有$

$$D(X+Y)=D(X)+D(Y)$$

3.协方差

定义

$两个随机变量X,Y的协方差$

$$cov(X,Y)=E[(X-E(X)(Y-E(Y))]$$

$相关系数$

$$\rho_{XY}=\frac{cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$$

性质

• $cov(aX,bY)=ab\ cov(X,Y),a,b是常数$
• $cov(X_1+X_2,Y)=cov(X_1,Y)+cov(X_2,Y)$
• $独立一定不相关，不相关不一定独立$

协方差矩阵

$一定是对称，半正定的$