第四章 线性判据与回归 笔记

线性判据基本概念

线性判据：
定义：如果判别模型 f(x) 是线性函数，则 f(x) 是线性判据。
优势：计算量少，适用于训练样本较少的情况下。
模型：

判别公式：

决策边界：

w 的方向垂直于决策边界。
样本到决策边界的距离：
r = f(x)/||w||
参数空间：由各个参数维度构成的空间。
解域：在参数空间内，参数的所有可能解所处的范围。

并行感知机算法

目的：根据标记过的训练样本{(xn, tn)}, 学习模型参数 w, w0。
预处理：
步骤1：将两个参数合为一个参数 a，线性判据改写为：

步骤2：将C2类的训练样本全部取反：

目标函数：针对所有被错误分类的训练样本，其输出值取反求和：

根据梯度下降法，参数 a 的更新公式为：

算法流程：

串行感知机算法

适用情况：训练样本是一个一个串行给出的。
目标函数与并行感知机相同。
算法流程：

Fisher线性判据

基本原理：找到一个最合适的投影轴，使两类样本在该轴上投影的重叠部分最少，从而使分类效果达到最佳。
最佳标准之一：投影后，使得不同类别样本分布的类间差异尽可能大，同时使得各自类内样本分布的离散程度尽可能小。
类间样本的差异程度：用两类样本分布的均值之差度量。
类内样本的离散程度：用每类样本分布的协方差矩阵表征。
算子：

目标函数：

作如下定义：

w 最优解：

w0 的解：

判别公式：

决策边界：

支持向量机

设计思想：给定一组训练样本，使得两个类中与决策边界最近的训练样本到决策边界之间的间隔最大。
间隔的数学定义：

支持向量的概念：

间隔计算：

目标函数：
最大化间隔，等价于最小化||w||，所以目标函数设计为：

同时满足以下约束条件：

拉格朗日乘数法

等式约束：等价优化问题

不等式约束：等价优化问题

拉格朗日对偶问题

原问题：

原问题的等价问题：

即：

对偶问题：

对偶问题和原问题的关系：
设对偶问题的最优值为 d，主问题的最优值为 p，对于所有的优化问题都存在 d* <= p* （弱对偶性）
强对偶性：d* = p*
强对偶成立条件：

• f(x) 是凸函数
• g(x) 是凸函数
• h(x) 是仿射函数
• 在可行域至少有一点使得不等式约束严格成立

支持向量机学习算法

目标函数 L 对 w 和 w0 求导，并设偏导等于0：

将上诉偏导等于0的结果带入拉格朗日函数，消去 w, w0：

目标函数变为：

得到最优的 Λ ，即可得到最优的参数 w 和 w0 。
此问题为二次规划问题，可通过相应软件求解。

求解支持向量：

参数最优解：

识别决策：