Fisher线性判别分析

案例说明

案例

$以下两个维度比较在不同温度下冶炼的钢铁群体$

$Y_1代表钢铁击穿点(yield point)$

$Y_2代表钢铁强度(ultimate\quad strength)$

$温度1$

$$y_1$$	$$y_2$$
33	60
36	61
35	64
38	63
40	65

$温度2$

$$y_1$$	$$y_2$$
35	57
36	59
38	59
39	61
41	63
43	65
41	59

Fisher线性判别分析(Fisher's linear discriminant analysis,LDA)

假设

$两个群体的均值向量(\mu_1\ne \mu_2),但具有相同的协方差矩阵\Sigma$

$随机样本(历史数据)$

$第一个p维群体y_{11},...,y_{1n_1}$
$样本均值向量\bar y_1,样本容量n_1,协方差矩阵\frac{\Sigma}{n_1}$

$第二个p维群体y_{21},...,y_{2n_2}$
$样本均值向量\bar y_2,样本容量n_2,协方差矩阵\frac{\Sigma}{n_2}$

---

思路

$用来寻找两个群体间"最好"的线性判别法则,来最大限度地区分两个群体$

目标 找到方向a，使得所有点，投影下来后，两个群体分的最开
$投影就是做a和y_1两个向量的內积,也就是\bar Z_1,然后两个投影相减 d=\bar Z_1 -\bar Z_2$

这个d是欧式距离，但距离大不一定是分得开，所以用标准化距离
标准化就是要除以自己的方差

$d=\bar Z_1-\bar Z_2=a^T(\bar y_1-\bar y_2)$

$Cov(\bar y_1)=\frac{\Sigma}{n_1}$

$Cov(\bar y_2)=\frac{\Sigma}{n_2}$

$Cov(\bar y_1-\bar y_2)=\Sigma(\frac{1}{n_1}+\frac{1}{n_2})$

$var(d)=(\frac{1}{n_1}+\frac{1}{n_2})a'\Sigma a$

$s_d=\sqrt{(\frac{1}{n_1}+\frac{1}{n_2})a'S_{pl} a}$

$S_{pl}是指用样本(包括两分类样本都算)算出来的协方差矩阵，\Sigma是模型真实的协方差矩阵$

$标准化距离就是\frac{d}{s_d},可正可负,所以一般处理平方(\frac{d}{s_d})^2$

投影后标准化距离(平方)为

$t^2(a)=\frac{\left\{a^T(\bar y_1-\bar y_2)\right\}^2}{(\frac{1}{n_1}+\frac{1}{n_2})a^TS_{pl}a}$

$Fisher线性判别分析找a使得t^2(a)最大$

怎么求最大值

$1.(\frac{1}{n_1}+\frac{1}{n_2}) 是常数$

$2.利用柯西不等式$

$(a^Tb)^2\le (a^Ta)(b^Tb) ; 当且仅当\quad a=b,內积的平方小于等于模长的平方的积$

$柯西不等式的变形$

$(a^Tb)^2\le (a^TWa)(b^TW^{-1}b)$

$或者\frac{(a^Tb)^2}{a^TWa}\le b^TW^{-1}b; 当且仅当 \quad a=W^{-1}b$

$所以最大值时,a=S_{pl}^{-1}(\bar y_1-\bar y_2)$

$称为\color{red}{判别函数系数(Discriminant\quad function \quad coefficient)}$

$z=a^Ty$

$称为\color{red}{Fisher判别函数(Fisher's \quad discriminant \quad function)}$

回到原来的案例，看下计算结果

结尾

材料来自于b站，厦门大学多元统计分析
这里要求两分类样本的协方差矩阵是一样的，但实际也是可以不一样的，在PRML一书中 公式4.28

$S_W = \sum\limits_{n \in C_1}(x_n - m_1)(x_n - m_1)^T + \sum\limits_{n \in C_2}(x_n - m_2)(x_n - m_2)^T$

就用的是两个协方差的加和操作