prml线性模型小结

线性模型小结

    线性模型，顾名思义，就是使用将特征的线性组合得到的超平面划分特征空间的方法。简单的在二维空间中，线性模型就是一条直线，而在三维空间中，线性模型就是一个平面，它们都可以将所在空间划分为两部分。当有多个超平面的时候可以将空间划分为多个区域。

怎么得到线性模型？在PRML中将主要的方法划分为三种方式

1：discriminant function即判别函数法

主要途径是得到一个判别函数，通过函数来对样本空间进行划分。

2：使用贝叶斯理论求后验概率P(Ck|X)，由类条件概率和先验概率得到后验概率。generative models.

3：另一种方法也是求后验概率P(Ck|X)，但是并不是使用贝叶斯理论先求条件概率和先验概率来得到。而是直接构建后验概率的模型，然后通过训练集来优化该模型的参数，可以使用最大似然等方法来解决。Logistic regression. Iterative reweighted least squares.

本章的内容也是按照这个基本的结构来划分的：

一：判别函数方法

1：least squares for classification

最小二乘分类，最小错误率                          

2：Fisher’s linear discriminant

Fisher线性分类：样本在投影空间中的最大可分性

3：Perceptron algorithm

感知器算法：在样本线性可分的情况下能保证收敛，并且分类超平面结果不确定，取决于初始化权值。

二：概率产生模型（probabilistic generative models）

通过贝叶斯理论将后验概率表示为先验概率和类条件概率，得到Logistic函数的形式，然后通过最大似然估计来优化Logistic函数的参数。主要讨论了样本的类条件分布概率符合高斯分布情况，两类样本可以有相同的协方差矩阵，也可有不同的协方差矩阵，主要讨论前者。然后是讨论了离散特征的处理，以及用指数族来表示其通用形式。

三：概率区分模型

在二中的处理方式是一种间接的处理方式，另一种相对应的模型就是直接构建其后验概率模型，通过最大似然估计来优化其参数。

代表性的方法就是Logistic regression。关于权值的更新介绍了Iterative reweighted least squares方法来更新权值。

probit regression：使用probit activation function来对样本进行分类。

然后简单的介绍多类别情况的Logistic regression。Canonical link function是Logistic regression的统一表示形式，跟指数族类似。

四：拉普拉斯逼近（Laplace Approximation）

前面讲的很多模型都是针对高斯分布的，当样本不符合高斯分布的时候显然就不能再使用，所以该节介绍了一种使用高斯分布逼近非高斯分布的技术：Laplace Approximation。主要分为三步：找最大点，泰勒展开，归一化。

该节的另一个重点部分是从数学角度分析了模型选择问题：分析了过拟合产生的原因以及模型选择方法BIC（Bayesian Information Criterion）方法。

五：Bayesian Logistic Regression

将拉普拉斯逼近用于Logistic regression。