统计学习方法——感知机

感知机基本理论

1. 感知机是监督学习的一种方法，是一种二分类的线性模型

2. 感知机的输入是实例的特征向量，输出为+1或-1两个值

3. 感知机属于判别模型

感知机模型

感知机定义

​ 假设输入空间为$X \subseteq R^n$, 输出空间是$Y = \{+1,-1\}$, $x \in X$是输入的特征向量, 对应于特征空间的点，$y \in Y$是实例的类别. 则由输入空间到输出空间存在

如下函数：

$$f(x) = sing(w \cdot x+b)\tag{1}$$

这个函数则成为感知机. 其中$w$和$b$称为感知机模型参数，$w$为权值（weight），$b$为偏置量（bias），$w \cdot x$表示内积，sign为函数，表示：

$$sign(x) = \begin{cases} +1, & x \geq 0 \\ -1, & x < 0 \end{cases}\tag{2}$$

感知机的假设空间

感知机的假设空间为定义在特征空间中的所有的线性分类模型，即$\{f | f(x) = w \cdot x + b\}$

感知机的几何解释

线性方程

$$w \cdot x + b = 0\tag{3}$$

对应于特征空间$R^n$的一个超平面S, S把特征空间分为两部分，位于两部分的点分别被分为正、负两类.

感知机学习策略

数据集的线性可分性

对于一个数据集T，如果存在一个超平面S，能将T中的所有正实例与负实例完全正确的划分到S两侧，则说明数据集T是线性可分的。

感知机学习策略

1. 感知机学习的目标是找出超平面，即确定$w,b$将数据集中的正实例和负实例完全分开. 需要确定一个学习策略，即定义损失函数并将损失函数极小化.

2. 感知机的损失函数定义为误分类的点到超平面S的总距离，为此，输入空间$R^n$中的点$x_0$, 到超平面s的距离为：

$$\frac{1}{||w||}|w \cdot x_0 + b|$$

​ $||w||$为$L_2$范数.

3. 未分类的点$(x_i,y_i)$到超平面S的距离恒为正值，且可以用以下公式表示：
   $$-\frac{1}{||w||}y_i(w\cdot x_i + b)$$
   原因：当$(x_i,y_i)$为正样本时，y的真实值为+1，但由于被误分类，所以$w\cdot x_i + b$的值为负数，此时上式为正数且刚好为到超平面的距离；当$(x_i,y_i)$为负样本时，y的真实值为-1，但由于被误分类，所以$w\cdot x_i + b$的值为正数，此时上式也为正数且刚好为到超平面的距离。