要求:原数据协方差矩阵变换成对角矩阵(非对角线数据全为零)Ps:非对角线矩阵为零是因为特征线性无关
原数据协方差矩阵不是对角矩阵是因为现在选择的基向量不好,变换后,选择好的基向量
原理:实对称矩阵一定能转换成对角阵
对角线上的值为特征值,大小决定了特征向量的重要程度(降维的关键)
目标:分子越大越好(类间距越大越好),分母越小越好(同类分布越密集越好)
化简为上图所示
加入约束条件
λ表示特征向量的重要程度(降维的关键)
PCA和LDA区别:
PCA:协方差求解
LDA:拉格朗日算法求解(约束项)
共同点:都是追求类间距越大越好,同类越密集越好。