03 2021 档案

拉格朗日乘子法
摘要：可以参考： 如何理解拉格朗日乘子法？ - 马同学的回答 - 知乎 https://www.zhihu.com/question/38586401/answer/457058079 1、作用： 将有约束问题转换为无约束问题； 2、本人更倾向于下面这种变形用法： 这里的F有3个自由度：f、g中的两个自由 阅读全文
posted @ 2021-03-12 10:10 outthinker 阅读(115) 评论(0) 推荐(0) 编辑
softmax中的margin控制
摘要：转载链接如下： Softmax理解之margin - 王峰的文章 - 知乎 https://zhuanlan.zhihu.com/p/52108088 在了解如何引入 margin 之前，我们首先要知道为何要加margin。在SVM时代，margin （以下称作间隔）被认为是模型泛化能力的保证，但在 阅读全文
posted @ 2021-03-03 16:14 outthinker 阅读(365) 评论(0) 推荐(0) 编辑
softmax中的smooth程度控制
摘要：转载链接如下： Softmax理解之Smooth程度控制 - 王峰的文章 - 知乎 https://zhuanlan.zhihu.com/p/49939159 本文主要衔接前面 从最优化角度理解softmax 的文章，指出了集中sommoth化后函数存在的问题（以softmax和LogSumMax为 阅读全文
posted @ 2021-03-03 15:36 outthinker 阅读(257) 评论(0) 推荐(0) 编辑
从boosting角度理解softmax
摘要：转载的这篇文章来自峰神知乎上的文章，链接如下： Softmax理解之二分类与多分类 - 王峰的文章 - 知乎 https://zhuanlan.zhihu.com/p/45368976 本文首先分析了softmax的性质，然后得出了softmax可以看成 "多个二分类器加权结合" 的方法，具体内容如 阅读全文
posted @ 2021-03-03 14:53 outthinker 阅读(155) 评论(0) 推荐(0) 编辑
从 smooth&最优化 角度理解softmax
摘要：一般理解softmax都是从“熵”这个角度，先从二分类的交叉熵入手，再延申到多分类的softmax损失函数。 今天则从另一个角度：smooth & 最优化 的角度入手来理解softmax损失函数。 转载知乎文章如下： 从最优化的角度看待Softmax损失函数 - 王峰的文章 - 知乎 https:/ 阅读全文
posted @ 2021-03-03 10:27 outthinker 阅读(469) 评论(0) 推荐(0) 编辑
寻找 函数max(x, y) 的平滑解
摘要：寻找函数max(x, y)的平滑解： 由于max函数本身不可导，所以可以用一个函数近似这个max函数，从而获得平滑解。其形式如下： 解算步骤具体如下： 转载链接：https://kexue.fm/archives/3290 阅读全文
posted @ 2021-03-02 18:02 outthinker 阅读(927) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示