LDA&PCA学习

PCA与LDA是两种典型的降维方法。其中PCA-无监督学习，LDA-有监督学习。

PCA可以有两种理解：降维后投影方差最大，或者是投影误差最小。

LDA可以理解为：投影类内距离最小，类间最大。（有类别的信息）

具体的PCA&LDA的推导过程详见 LeftNotEasy作者关于机器学习中数学相关文章。

http://www.cnblogs.com/LeftNotEasy/

LDA主要面临的问题是小样本问题：当样本的特征维度远远大于样本的数目时候，会出现样本的类内离散度矩阵不可逆，因此计算LDA投影矩阵不可行。

针对SSS问题，许多相关研究人员提出了对LDA算法的改进算法，比如NLDA，OLDA，PCA+LDA，ULDA等算法。

LDA还有一个问题是降维后的维度d<=c-1,其中c表示样本的类别数目。

过拟合，迹的比和比的迹问题...