统计学习方法学习笔记——第一章
感知机学习算法
感知机学习算法的原始形式
输入:训练数据集\(T=\{(x_1, y_1),...,(x_N,y_N)\}\),其中\(x_i \in X=R^n\),\(y_i \in Y=\{-1,+1\}, i=1,2,...,N\),学习率\(\eta(0<\eta<=1)\)
输出:\(w,b\);感知机模型\(f(x)=sign(w*x+b)\)
(1)选取初值\(w_0,b_0\);
(2)在训练集中选取数据\((x_i,y_i)\);
(3)如果\(y_i(w*x_i+b)<=0\),
\[w \gets w+\eta y_ix_i
\]
\[b \gets b+\eta y_i
\]
(4)转至(2),直至训练集中没有分类点
算法的收敛性
Novikoff定理
设训练数据集\(T=\{(x_1, y_1),...,(x_N,y_N)\}\)是线性可分的,其中\(x_i \in X=R^n\),\(y_i \in Y=\{-1,+1\}, i=1,2,..,N\),则
(1)存在满足条件\(||\hat{w_{opt}}||=1\)的超平面将训练数据集完全正确分开