协方差/协方差矩阵与相关系数

协方差

方差的定义为:

\[D(X) = E(X - E(X))^2 \]

当要处理两个随机变量时, 可以定义它的协方差:

\[cov(X, Y) = E([X-E(X)][Y - E(Y)]) \]

对于\(n\)个随机变量组成的向量\(X = (X_1, X_2, \dots, X_n)^T\), 可以定义它的协方差矩阵:

\[C = E([X - E(X)][X - E(X)]^T) \]

广泛用于机器学习中, 如PCA降维

相关系数

\[corr(X, Y) = \frac{cov(X, Y)}{\sqrt {D(X)D(Y)}} \]

取值范围为\([-1, 1]\), 表征线性相关的程度