统计学习方法读书笔记：感知机

什么是感知机

二分类的线性分类模型，输入是实例的特征向量，输出是实例的类别，取-1和+1两值。

感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。

感知机是神经网络和支持向量机的基础。

 

模型的使用条件

数据集需要是线性可分的，同时，如果数据集是线性可分的话，经过一定的迭代次数一定可以得到一个感知机模型，将正负例分离开。

 

损失函数的定义

一个自然的选择是误分类点的总数，但是这样的损失函数不是参数w和b的连续可导函数，不易于优化。

感知机所采用的损失函数为误分类点到超平面S的总距离。

 

 

学习算法

感知机学习问题转化为求解损失函数的最优化问题。

最优化的方法为随机梯度下降。

（1）任意选择一个超平面w0和b0;

（2）梯度下降不断地极小化目标函数，极小化的过程中每次只随机地选择一个误分类点使其梯度下降。