证明XX'是半正定的对称阵并求目标函数的最大值以及PCA实现步骤

证明

　　由上一篇可得到目标函数1/n × u₁^T XX^Tu_{1 ,}并且X = [x₁,x₂,......,x_n]，X^T =[x₁^T,x₂^T,......,x_n^T]^T ，由于（XX^T）^T =XX^T，所以XX^T是对称阵

　　假设XX^T的某一个特征值为λ,对应的特征向量为ξ，则有：

XX^Tξ = λξ

(XX^Tξ )^T ξ= (λξ)^Tξ

ξ^TXX^Tξ = λξ^Tξ

ξ^TXX^Tξ = (X^Tξ)^T(X^Tξ） = ||X^Tξ||^T = λξ^Tξ = λ||ξ||²

||X^Tξ||² = λ||ξ||² ≥ 0

故λ ≥ 0

　　故 XX^T 是半正定的对称阵。

对于半正定阵的二次型，存在最大值。接下来求目标函数的最大值以及取最大值时u₁的方向。

方法：拉格朗日乘子法

　　目标函数和约束条件组成最大化问题：max{u₁^T XX^Tu₁},s.t. u₁^Tu₁ =1

　　构造拉格朗日函数：f（u₁）= (u₁^T XX^Tu₁)+ λ( 1- u₁^Tu₁ )

　　对u₁求导：

∂f/∂u₁ = 2XX^Tu₁ -2λu₁ = 0

2XX^Tu₁   = 2λu₁

 　　所以，u₁即为 XX^T特征值λ对应的特征向量。将上式代入目标函数得：

u₁^T XX^Tu₁ = λ u₁^Tu₁  = λ

　　故取最大的特征值可得到目标值最大。求取二阶导数确定极大值：

∂²f/∂u₁ = 2(XX^T -λI)

　　当λ取最大特征值时，XX^T -λI 为半负定阵。二阶导数半负定，则目标函数在最大特征值所对应的特征向量上取得最大值。所以，第一主轴方向即为第一大特征值所对应的特征向量方向。第二主轴方向为第二大特征值所对应的特征向量方向。

 

PCA实现

步骤：对矩阵X_m×n ,  

　　1）进行归一化，每一行减去对应平均值；

　　2）计算协方差矩阵C = 1/n × XX^T；

　　3)计算协方差矩阵C的特征值和特征向量；

　　4）将特征值从大到小排序；

　　5）保留最上面的N个特征向量；

　　6）将数据转换到上述N个特征向量构建的新空间中。 

　　(假设若只选取最大特征值对应的特征向量P₁,降维后的数据Y = P₁^TX)