吴恩达机器学习笔记50-主成分分析算法(PCA Algorithm)

PCA 减少𝑛维到𝑘维步骤：
　　

　　第一步是均值归一化。我们需要计算出所有特征的均值，然后令 𝑥𝑗 = 𝑥𝑗 − 𝜇𝑗。如果特
征是在不同的数量级上，我们还需要将其除以标准差 𝜎2。

　　第二步是计算协方差矩阵（covariance matrix）

(求和上面的n错了，应该是m）

　　第三步是计算协方差矩阵𝛴的特征向量（eigenvectors）:在 Octave 里我们可以利用奇异值分解（singular value decomposition）来求解：

[U, S, V]= svd(sigma)。

对于一个 𝑛 × 𝑛维度的矩阵，上式中的𝑈是一个具有与数据之间最小投射误差的方向向
量构成的矩阵。如果我们希望将数据从𝑛维降至𝑘维，我们只需要从𝑈中选取前𝑘个向量，获
得一个𝑛 × 𝑘维度的矩阵，我们用𝑈𝑟𝑒𝑑𝑢𝑐𝑒表示，然后通过如下计算获得要求的新特征向量

其中𝑥是𝑛 × 1维的，因此结果为𝑘 × 1维度。注，我们不对方差特征进行处理。