Fisher linear discriminant analysis总结

　　一年前就研究过Fisher线性判别分析，到现在又忘得差不多了，在此特总结一下：

1、线性判别分析是统计学上的一种分析方法，用于在已知的分类之下遇到有新的样本时，选定一个判别标准，以判定如何将新样本放置于哪一个类别之中。主要用于二分类问题，对于多类问题则可以多次运用该方法就可以了；

2、Fisher线性判别分析的主要原理是将带有类别标签的高维样本投影到一个向量w（一维空间）上，使得在该向量上2类样本的投影值达到“低耦合高内聚“，即类内距离最小而累间距离最大，这样便是分类效果最好的情况）这样便可将问题转化成一个确定w的优化问题。

3、其实w就是二分类问题的超分类面的法向量。

4、类似于SVM和kernel PCA，也有kernel FDA，其原理是将原样本通过非线性关系映射到高维空间中，在该高纬空间利用FDA算法，这里的关键是w可以用原影本均值的高维投影值表示，这样可以不需知道具体的映射关系而给出kernel的形式就可以了。

5、和PCA一样，FDA也可以看成是一种特征提取（feature extraction）的方法，即将原来的n维特征变成一维的特征了（针对该分类只要有这一个特征就足够了）。