感知机模型
感知机
基本形式
感知机是一种线性分类模型,同时也为判别模型。其形式如下:
其中
即认为当样本满足
这里使用指示函数
利用点到直线的距离可以完成损失函数的设计,思路如下:
点到直线(平面)的距离可以表示如下:
此式子也可用于损失函数,但是由于含有绝对值,所以不方便。
考虑误分类点
这样就可以通过距离来表示误分类样本的损失了。
在不考虑
其中
显然上述损失函数是可以求偏导的,我们对参数
因此当使用梯度下降算法(GD)时,参数的更新可以由下面的式子表示:
但在实际训练中,通常不这么做,为了减少时间开销往往使用随机梯度下降法(SGD),即随机挑选一个样本进行更新,形式如下:
最后训练过程简要描述如下:
step1:构建分类模型
step2:初始化
step3:遍历样本,若
对偶形式
初次学习感知机的对偶形式时,不明所以,纠结了很长时间。如今再次回看,感觉豁然开朗,下面是自己的理解。
从上面的更新式中不难发现,同一个样本可能会更新多次。
比如,在第一次更新时
在第二更新时
这样一来对于每个样本
那么显然整个更新过程可以一次就完成,即
所以模型的对偶形式可以表示为如下:
最后模型的训练过程可由下面简要表示:
step1:构建分类模型
step2:初始化
step3:遍历样本每个样本
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 单线程的Redis速度为什么快?
· 展开说说关于C#中ORM框架的用法!
· Pantheons:用 TypeScript 打造主流大模型对话的一站式集成库
· SQL Server 2025 AI相关能力初探
· 为什么 退出登录 或 修改密码 无法使 token 失效