判别分析

一.判别分析和分类分析

例子
贷款人申请贷款，要评估是否能够成功偿还贷款

二.区别

判别分析-寻找判别规则，利用判别函数来描述-主要是区分不同的群体-找规律

分类分析-给出分类结果-预测新对象的类别，找到最优可能属于的类别-贴标签

目标通常都是分类

两群体Fisher线性判别分析

目标寻找最合适的平面，将样本投影到上面，使得组内间距最小，组间间距最大

假设

$两个群体的均值向量\mu_1\ne \mu_2,但具有相同的协方差矩阵\Sigma$

随机样本

$第一个p维群体y_{11},...,y_{1n}的样本均值向量\bar y_1 则协方差矩阵为 \Sigma/n_1$
$第二个p维群体y_{21},...,y_{2n}的样本均值向量\bar y_2 则协方差矩阵为 \Sigma/n_2$

Fisher 线性判别分析

用来寻找两个群体间“最好”的线性判别法则，来最大限度地区分两个群体

$找到\bar y_1 ,\bar y_2,投影到平面a上，就是和平面a做內积,然后找到\bar Z_1,\bar Z_2$

不看欧式距离，会受到量纲影响

$Fisher线性判别分析寻找一个投影方向a,使得两均值向量投影之后\bar Z_1 = a' \bar y_1和\bar Z_2 = a' \bar y_2的"标准化距离"最大$

"标准化距离"怎么算?

$推演$
$d=\bar Z_1 - \bar Z_2 = a^T(\bar y_1 - \bar y_2)$
$Cov(\bar y_1)=\Sigma/n_1$
$Cov(\bar y_2)=\Sigma/n_2$
$Cov(\bar y_1) -\bar y_2)=\Sigma(\frac{1}{n_1}+\frac{1}{n_2}),注意！等号后面是加号，虽然前面Cov里面是-号$
$var(d)=(\frac{1}{n_1}+\frac{1}{n_2}), a^T\Sigma a$
$标准差 s_d=\sqrt{(\frac{1}{n_1}+\frac{1}{n_2}), a^TS_{pl} a},这里实际的\Sigma没法求,用样本的S_{pl}表示$
$最后结论:不用d判断距离，而用d/s_d，然后可能有负号，所以一般求平方(d/s_d)^2$
$即$
$t^2(a) = \frac{(a^T(\bar y_1 -\bar y_2))^2}{(1/n_1+1/n_2)a^TS_{pl}a}$
$Fisher线性判别分析寻找a,使得t^2(a)最大$
$上面是內积，下是是二次型形式$
$有点像柯西不等式$
$(a^Tb)^2 \le (a^Ta)(b^Tb),等号当且仅当a=b成立$
$柯西不等式变形$
$(a^Ta) \le (a^TWa)(b^TWb),或者$
$\frac{(a^Tb)^2}{a^TWa} \le b^TW^{-1}b,等号成立当且仅当 a= W^{-1}b$
$变形公式通过令a=W^{-\frac{1}{2}}a,b=W^{-\frac{1}{2}}b推导得到$
观察两组公式
$t^2(a) = \frac{(a^T(\bar y_1 -\bar y_2))^2}{(1/n_1+1/n_2)a^TS_{pl}a}$
$\frac{(a^Tb)^2}{a^TWa} \le b^TW^{-1}b$
$可以直观看出$
$抛开 (1/n_1+1/n_2) 这个常数项,两个公式是等价的，那么t^2(a)取到最大值的时候就是 变形公式当且仅当条件成立的时候$
$即$
$\color{red}{a=S_{pl}^{-1}(\bar y_1 -\bar y_2)}$
$称为判别函数系数$
$\color{red}{z=a^Ty}$
$称为Fisher判别函数$

多群体Fisher线性判别分析