统计学习方法学习笔记——第一章

感知机学习算法

感知机学习算法的原始形式

输入：训练数据集\(T=\{(x_1, y_1),...,(x_N,y_N)\}\)，其中\(x_i \in X=R^n\)，\(y_i \in Y=\{-1,+1\}, i=1,2,...,N\)，学习率\(\eta(0<\eta<=1)\)
输出：\(w,b\)；感知机模型\(f(x)=sign(w*x+b)\)
(1)选取初值\(w_0,b_0\);
(2)在训练集中选取数据\((x_i,y_i)\);
(3)如果\(y_i(w*x_i+b)<=0\),

\[w \gets w+\eta y_ix_i \]

\[b \gets b+\eta y_i \]

(4)转至(2)，直至训练集中没有分类点

算法的收敛性

Novikoff定理
设训练数据集\(T=\{(x_1, y_1),...,(x_N,y_N)\}\)是线性可分的，其中\(x_i \in X=R^n\)，\(y_i \in Y=\{-1,+1\}, i=1,2,..,N\)，则
(1)存在满足条件\(||\hat{w_{opt}}||=1\)的超平面将训练数据集完全正确分开