统计学习方法笔记-感知机学习方法
感知机(Perceptron)
1.感知机模型
1.1感知机定义
输入空间
输入
由输入空间到输出空间的如下函数:
f(x) = sign(
+b)
: 权值,b : 偏置;
: 和x的内积; sign为符号函数;
1.2感知机几何解释
线性方程
2.感知机学习策略
2.1数据集的线性可分性
给定一个数据集T, 如果存在某个超平面S:
能够将数据集的正实例点和负实例点完全正确的划分到超平面的两侧,即yi ,则称数据集T为线性可分数据集。
2.2 感知机的学习策略
首先,输入空间
证明如下:
在超平面S(
)任选一点v1,所需公式 d =
=
=
=
=
其次,对于误分类的数据(xi,yi)来说,
2.3 感知机算法
2.3.1原始形式(随机梯度下降法)
输入:训练数据集T = {(x1, y1), (x2, y2), ....., (xN,yN)},其中
输出:
过程:
1.选取初值ω0, b0;
2.在训练集中选取数据(xi, yi);
3.如果
4.转至2,直至训练集中没有误分类点。
注:感知机学习算法由于采取不同的初值或选取不同的误分类点,解可以不同。
2.3.2算法的收敛性
证明:经过有限次迭代可以得到一个将训练数据集完全正确划分的分离超平面及感知机模型。
为了叙述与推导,
训练数据集T = {(x1, y1), (x2, y2), ....., (xN,yN)},其中
, 则 (1)存在满足条件
的超平面 将训练数据集完全正确分开;且存在 , 对所有的i= 1,2,...,N, 。
证明如下:
由于训练集是线性可分的,故存在一分离超平面。不妨设改平面为
,使 。 于是对于所有有限的i,均有
。 取
,则 。 所以,(1)得证。
(2)令
,则在 在训练数据集上的误分类次数k满足不等式
证明:
证明:
由上述可得,
定理表明,误分类次数k是有上界的,经过有限次搜索可以找到分离超平面。即当训练数据集线性可分时,感知机学习算法原始形式迭代时收敛的。
2.3.3 对偶形式
输入:训练数据集T = {(x1, y1), (x2, y2), ....., (xN,yN)},其中
输出:
过程:
1.
2.在训练集中选取数据(xi, yi);
3.如果
4.转至2,直至训练集中没有误分类数据。
注:Gram矩阵:训练集中实例间的内积计算并以矩阵形式存储,该矩阵为Gram矩阵,记为
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· [翻译] 为什么 Tracebit 用 C# 开发
· 腾讯ima接入deepseek-r1,借用别人脑子用用成真了~
· Deepseek官网太卡,教你白嫖阿里云的Deepseek-R1满血版
· DeepSeek崛起:程序员“饭碗”被抢,还是职业进化新起点?
· 深度对比:PostgreSQL 和 SQL Server 在统计信息维护中的关键差异