感知机损失函数为什么可以不考虑1/||𝑤||
原文地址:感知机的损失函数中1/||w||为什么可以忽略_Innovat1on的博客-CSDN博客 ;为什么感知机使用函数间隔作为损失函数(忽略1/||w||)_zest_9527的博客-CSDN博客
网上有人说1/||𝑤||是个定值,但是个人觉得平面不唯一,这个值肯定也会变。通过参考他人观点结合思考,觉得原因可以列为以下两点。
- 1/||𝑤||不影响𝑦𝑖(𝑤⋅𝑥𝑖+𝑏)正负的判断,即不影响学习算法的中间过程。因为感知机学习算法是误分类驱动的,这里需要注意的是所谓的“误分类驱动”指的是我们只需要判断−𝑦𝑖(𝑤⋅𝑥𝑖+𝑏)的正负来判断分类的正确与否,而1/||𝑤||并不影响正负值的判断。所以1||𝑤||对感知机学习算法的中间过程可以不考虑。
- 1||𝑤||不影响感知机学习算法的最终结果。因为感知机学习算法最终的终止条件是所有的输入都被正确分类,即不存在误分类的点。则此时损失函数为0. 对应于−1/||𝑤||∑𝑖∈𝑀𝑦𝑖(𝑤⋅𝑥𝑖+𝑏),即分子为0.则可以看出1/||𝑤||对最终结果也无影响。
综上所述,即使忽略1/||𝑤||,也不会对感知机学习算法的执行过程产生任何影响。反而还能简化运算,提高算法执行效率。
对于他说的正负判定很赞同,因为感知器本身就是一个二类线性分类器,能够正确分类就行。
并且最重要的一点就是我们知道感知器分类器是一个结果不确定的,也就是它的参数w,b都不是固定的值,只要能分类成功都可以,因此不考虑分母也说得过去
还有什么原因想到之后继续补充
最重要的一点:因为是优化,应用的等价loss
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· 10年+ .NET Coder 心语 ── 封装的思维:从隐藏、稳定开始理解其本质意义
· 地球OL攻略 —— 某应届生求职总结
· 提示词工程——AI应用必不可少的技术
· Open-Sora 2.0 重磅开源!
· 周边上新:园子的第一款马克杯温暖上架
2018-06-06 流形学习(manifold learning)综述