主成分分析（PCA）

主成分分析（principal component analysis）是一种常见的数据降维方法，其目的是在“信息”损失较小的前提下，将高维的数据转换到低维，从而减小计算量。
PCA的本质就是找一些投影方向，使得数据在这些投影方向上的方差最大，而且这些投影方向是相互正交的。

使用拉格朗日方程来求解该最大化问题，则:

对U求导：

令导数为0,可知u就是Σ的特征向量。这个最大化问题的解就是矩阵的特征向量。

协方差矩阵最大的特征值对应的特征向量就是样本方差最大的方向。

进行PCA 算法之前，数据一般都需要预处理。预处理步骤如下：

#coding:utf8
import numpy as np
import matplotlib.pyplot as plt

def pca(data,dim=1,normalise=0):
    u = np.mean(data)
    data -= u  # 预处理1,2
    C = np.cov(data.T)
    evals,evecs = np.linalg.eig(C)
    indices = np.argsort(evals)[::-1]   # 特征值序号，大小升序
    indices=indices[:dim]
    evecs = evecs[:,indices]
    if normalise:   # 归一化，处于同一尺度可忽略，预处理3,4
        for i in range(np.shape(evecs)[1]):
            evecs[:,i] / np.linalg.norm(evecs[:,i]) * np.sqrt(evals[i])
    x = np.dot(evecs.T,np.transpose(data))
    y=np.dot(evecs,x).T+u
    return x,y,evals,evecs

x = np.random.normal(5,.5,1000)
y = np.random.normal(3,1,1000)
a = x*np.cos(np.pi/4) + y*np.sin(np.pi/4)
b = -x*np.sin(np.pi/4) + y*np.cos(np.pi/4)
plt.plot(a,b,'.')
plt.xlabel('x')
plt.ylabel('y')
plt.title('raw dataset')
data=np.mat(zip(a,b))
x,y,evals,evecs = pca(data,1)
plt.figure()
plt.plot(y[:,0],y[:,1],'.')
plt.xlabel('x')
plt.ylabel('y')
plt.title('new dataset')
plt.show()