ML 感知机（Perceptrons）

感知机

Perceptrons

 

学习Hinton神经网络公开课的学习笔记

https://class.coursera.org/neuralnets-2012-001

1 感知机历史

    在19世纪60年代由Frank Rosenblatt提出，是神经网络和支持向量机的基础。

2 模型表示

    在hinton的课件里面给出的是Binary threshold neurons，y取值是{0,1}

在《统计学习方法》中给出的模型公式：

   

几何解释：线性方程

 

对应于特征空间中的一个超平面S

3 代价函数 cost function

考虑输入空间中任一点到超平面的距离：

    

误分类点到超平面的距离：

   

所有误分类点到超平面总距离：

   

不考虑 ，得到感知机的代价函数：

   

这里M为误分类点集合。

4 感知机学习算法

4.1梯度下降法

   

更新参数：

   

注意这里与线性回归逻辑回归等不同在于，更新参数时，是误分类点集，而不是全集。

 

4.2对偶形式

有上面的原始形式

   

假设初始值w,b为0，最后学习得到的参数可表示为：

   

其，N为总样本个数。

感知机模型

梯度更新算法变为：

1. 
2. 在训练集中选取数据
3. 如果

   

4. 转至（2）直到没有误分类数据

 

在对偶形式中，为了方便，可以将训练集中实例间的内积先计算出来用矩阵形式存储，这个矩阵也就是所谓的Gram矩阵

5 感知机的缺陷

这些限制来源于所使用的特征，感知机不会自动学习特征，必须通过人类手工设置特征进行学习，所以他的能力也就和特征有关。还有感知机是一个线性模型，他无法解决非线性问题。下面是