线性判别分析（LDA）模型笔记

目录

• 模型概况
• 模型定义
• 模型求解

模型概况

线性判别方法（Linear Discrimination Analysis)是一种经典的线性学些方法，最早由Fisher提出，也叫“Fisher判别分析”。

LDA的思想非常朴素，也即是，将样例投影到一条直线上使得同类样例的投影点尽可能近，异类样例的投影点尽可能远,总结六个字就是类内小，类间大；在对新的样本进行分类时候，将其投影到同样的这条直线上，再根据投影点的位置来判断样本点的类别。LDA也是一种降维方法。

模型定义

给定数据集$D=\{(x_i,y_i{)}_{i=1}^m,y_i\in \{0,1\}\}$，$X_i$、${\mu }_i$、${\mathrm{\Sigma }}_i$分别表示第$i\in \{0,1\}$类示例的集合、均值向量、协方差矩阵，则将数据投影到直线$w$上，则两类样本的中心的投影分别为$w^T{\mu }_0$和$w^T{\mu }_1$，协方差分别为$w^T{\mathrm{\Sigma }}_{0}w$和$w^T{\mathrm{\Sigma }}_{1}w$。由于将样本点投射到直线这一一维空间上，则$w^T{\mu }_0$、$w^T{\mu }_1$、$w^T{\mathrm{\Sigma }}_{0}w$和$w^T{\mathrm{\Sigma }}_{1}w$都是实数。

$$X_i=\{x_i|y_i=i\}$$

$${\mu }_i=\frac{1}{N_i}\sum _{j=1}^{N_i}{x}_j$$

$${\mathrm{\Sigma }}_i=\frac{1}{N_i}\sum _{j=1}^{N_i}(x_j-\overline{x})(x_j-\overline{x}{)}^T$$

模型求解

为了使得同类样例的投影点尽可能接近，同类样例投影点协方差要尽量小，也即是$w^T{\mathrm{\Sigma }}_{0}w+w^T{\mathrm{\Sigma }}_{1}w$尽可能小；而为了异类样例投影点尽可能远离，类的中心的距离要尽量大。也即是说$(w^T{\mu }_0-w^T{\mu }_1{)}^2$尽可能大。

则可以定义需要最大化的目标函数为

$$\begin{gathered} J=\frac{(w^T{\mu }_0-w^T{\mu }_1{)}^2}{w^T{\mathrm{\Sigma }}_{0}w+w^T{\mathrm{\Sigma }}_{1}w} \\ =\frac{w^T({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^{T}w}{w^T({\mathrm{\Sigma }}_0+{\mathrm{\Sigma }}_1)w} \end{gathered}$$

定义类内散度矩阵（within-class scatter matrix）

$$S_w={\mathrm{\Sigma }}_0+{\mathrm{\Sigma }}_1$$

以及类间散度矩阵（between-class scatter matrix）

$$S_b=({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^T$$

则$J$可以重写为

$$J=\frac{w^T{S}_{b}w}{w^T{S}_{w}w}$$

这也就是LDA需要最大化的目标函数，也即是$S_b$与$S_w$的广义瑞利商（generalized Rayleigh quotient）。

接下来只需要根据目标函数对$w$进行求导

$$\begin{array}{r}\frac{dJ}{dw}=2S_{b}w(w^T{S}_{w}w{)}^{-1}-w^T{S}_{b}w(w^T{S}_{w}w{)}^{-2}2S_{w}w=0\\ S_{b}w(w^T{S}_{w}w)=(w^T{S}_{b}w)S_{w}w\end{array}$$

其中，$w^T{S}_{w}w$与$w^T{S}_{b}w$实际上都是实数，则式子变为

$$\begin{array}{rl}w& =\frac{w^T{S}_{b}w}{w^T{S}_{w}w}{S}_w^{-1}{S}_{b}w\\ & =\frac{w^T{S}_{b}w}{w^T{S}_{w}w}{S}_w^{-1}({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^{T}w\end{array}$$

其中$({\mu }_0-{\mu }_1{)}^{T}w$也是一个实数，由于我们求$w$只需要考虑其方向而不需要考虑其长度，故$\frac{w^T{S}_{b}w}{w^T{S}_{w}w}$与$({\mu }_0-{\mu }_1{)}^{T}w$都可以忽略，则式子变为

$$w=S_w^{-1}({\mu }_0-{\mu }_1)$$

至此，我们求出了所要求的解。

---

如果您觉得阅读本文对您有帮助，请点一下“推荐”按钮，您的“推荐”将是我最大的写作动力！欢迎各位转载，但是未经作者本人同意，转载文章之后必须在文章页面明显位置给出作者和原文连接，否则保留追究法律责任的权利。