LDA-线性判别分析(二)Two-classes 情形的数学推导

     
本来是要调研 Latent Dirichlet Allocation 的那个 LDA 的, 没想到查到很多
关于 Linear Discriminant Analysis 这个 LDA 的资料。初步看了看,觉得数学味挺浓,一时引起了很大的兴趣;再看看,就有整理一份资料的冲动了。网上查到的相关文章大都写得不是很详细,而且在概念和记号等方面也比较混乱,因此,在整理本文时,我有意识地牵了一根主线,想让读者读起来有循序渐进的感觉,记号上也力求规范和统一。期间参考了若干文献,以及一些优秀的博客,如 JerryLead、LeftNotEasy、webdancer、xiaodongrush 等的博文,在这里对他们的辛勤写作和无私分享表示感谢。文中的数学推导过程写得比较细,方便有需求的读者参考。此外,文中还通过加注的形式放入了一些自己的理解。 当然由于水平有限,错误遗漏之处在所难免, 希望读者朋友可以指出,也欢迎交流

 

目录


第 1 节  预备知识

     1.1 分类问题的描述

     1.2 拉格朗日乘子法


第 2 节  Two-classes 情形的数学推导

     2.1 基本思想

     2.2 目标函数

     2.3 极值求解

     2.4 阀值选取


第 3 节  推广到 Multi-classes 情形

     3.1 降维问题的描述

     3.2 目标函数与极值求解

     3.3 降维幅度


第 4 节  其他几个相关问题

 



 

若需要本文完整的 PDF 文档,请点击《线性判别分析(LDA)浅析》进行下载!


相关链接

1.  JerryLead 的博文 《线性判别分析(Linear Discriminant Analysis)(一)》

2.  JerryLead 的博文 《线性判别分析(Linear Discriminant Analysis)(二)》

3.  LeftNotEasy 的博文 《机器学习中的数学(4)-线性判别分析(LDA),主成分分析(PCA)》

4.  webdancer 的博文 《LDA-linear discriminant analysis》

5.  xiaodongrush 的博文 《线性判别式分析-LDA-Linear Discriminant Analysis》

6.  peghoty 的博文《关于协方差矩阵的理解》

7.  peghoty 的博文《UFLDL教程学习笔记(四)主成分分析》

 

作者: peghoty 

出处: http://blog.csdn.net/itplus/article/details/12038357

欢迎转载/分享, 但请务必声明文章出处.

posted @ 2013-09-26 10:47  peghoty  阅读(669)  评论(0编辑  收藏  举报