统计机器学习第二章 感知机

对于线性方程w*x+b = 0

对应于空间的一个超平面S，其中w是超平面的法向量，b是超平面的截距。超平面将空间划分为两个部分，位于平面两边的点分属于正负两类。

前提：数据线性可分，可以找的一个超平面S，w*x+b = 0，能够将数据完整划分开。

输入：{(x₁,y₁),(x₂,y₂),..(x_N,y_N),}，其中y_i={-1，1}

输出：w和b。

算法的原始形式：

1. 选取初始值w₀和b₀
2. 在数据集中选择数据 (x_i,y_i)
3. 如果y_i(w_ix+b)<=0, w←w+ηy_ix_i  b←b+ηy_i
4. 转到步骤2直到没有误分类点

经过有限次搜索可以找到这个分类面，不唯一，与初值选择，误分类点的选择顺序等有关。

感知机对偶，

对原始形式做变形，

w = η(y₁x₁+y₂x_{2+  +}y_ix_i) ,假设n_i 是这些数据点第i个点在训练过程中被误分类的总次数，则有

w=∑n_iηy_ix_i

如果令a_i=n_iη，则有w=∑a_iy_ix_i，同理b=∑a_iy_i

算法的对偶形式：

取 a = (a₁，a₂，  a_N)^T

1. 选取初始值a=0和b=0
   
2. 在数据集中选择数据 (x_i,y_i)
3. 如果y_i∑(a_jx_j*x_i+b)<=0, a_i←a_i+η_i  b←b+ηy_i
4. 转到步骤2直到没有误分类点
5. 最后学习w和b可以表示为：w=∑a_iy_ix_i，b=∑aiyi

提前计算gram矩阵，降低运算量。