要求：原数据协方差矩阵变换成对角矩阵（非对角线数据全为零）Ps：非对角线矩阵为零是因为特征线性无关

原数据协方差矩阵不是对角矩阵是因为现在选择的基向量不好，变换后，选择好的基向量

原理：实对称矩阵一定能转换成对角阵

对角线上的值为特征值，大小决定了特征向量的重要程度（降维的关键）

目标：分子越大越好（类间距越大越好），分母越小越好（同类分布越密集越好）

化简为上图所示

加入约束条件

λ表示特征向量的重要程度（降维的关键）

 

PCA和LDA区别：

PCA：协方差求解

LDA：拉格朗日算法求解（约束项）

共同点：都是追求类间距越大越好，同类越密集越好。