线性判别分析（线性回归、对数几率回归、线性判别分析和广义线性判别分析）

基本形式

优点：线性模型形式简单、易于建模。

           很多非线性模型是在线性模型的基础上通过引入层级结构或高维映射得到的。

           权重矩阵直观表达了各个属性的重要性，因此具有良好解释性。

线性回归

 1、线性回归介绍与离散属性转换为实数值

线性回归（linear regeression）试图学习一个线性模型以尽可能准确预测实值输出标记。

对于预测值本来就是实数值的数据还好说，对于离散属性，其离散值转化为实数值有两种方法：第一种，若属性存在“序”的关系，可通过连续化进行转换（例如身高取值“高”“矮”，就可以转化为“1.0”“0.0”）；第二种，若属性没有序的关系，可以转化为k维向量（例如“西瓜”“南瓜”，可以转化为｛1，0｝｛0，1｝）。

2、线性模型学习策略

3、线性模型学习算法

先举一个单属性的例子：

再举更为一般的例子，也就是多元线性回归：

4、广义线性模型

注意（以下是个人理解）：广义线性模型和后续介绍的广义线性判别分析（函数）殊途同归，都是利用线性判别分析进行扩展，解决非线性问题，但从形式上老说，不像是一回事。

 

对数几率回归

1、引言

上述讨论的都是回归问题，如果用线性判别模型进行分类学习，就需要将实数值转化为离散值。

利用广义线性模型，我们易知最理想的函数是“单位阶跃函数”，但是它不连续，无法适用于g^-1（·）。因此我们找了个替代品，即对数几率函数（logistic function）（是一种sigmoid函数，还是其最重要的代表）：

因此虽然对应模型名称“对数几率回归”，但是其实是一种分类方法。

2、学习策略与学习方法

移步我的另一篇博客：https://www.cnblogs.com/CJT-blog/p/10135077.html

 

线性判别分析

1、引言

线性判别分析（Linear Discriminant Analysis，LDA）是一种经典的线性学习方法，亦称“Fisher判别分析”。

2、模型、学习策略与学习方法

请移步我的另一篇博客：https://www.cnblogs.com/CJT-blog/p/10187720.html 

 

广义线性判别分析

1、引言

2、广义线性判别函数

3、特例——线性判别函数的齐次简化