随笔分类 - ML中的数学研究
摘要：可以参考： 如何理解拉格朗日乘子法？ - 马同学的回答 - 知乎 https://www.zhihu.com/question/38586401/answer/457058079 1、作用： 将有约束问题转换为无约束问题； 2、本人更倾向于下面这种变形用法： 这里的F有3个自由度：f、g中的两个自由
阅读全文
摘要：转载链接如下： Softmax理解之margin - 王峰的文章 - 知乎 https://zhuanlan.zhihu.com/p/52108088 在了解如何引入 margin 之前，我们首先要知道为何要加margin。在SVM时代，margin （以下称作间隔）被认为是模型泛化能力的保证，但在
阅读全文
摘要：转载链接如下： Softmax理解之Smooth程度控制 - 王峰的文章 - 知乎 https://zhuanlan.zhihu.com/p/49939159 本文主要衔接前面 从最优化角度理解softmax 的文章，指出了集中sommoth化后函数存在的问题（以softmax和LogSumMax为
阅读全文
摘要：转载的这篇文章来自峰神知乎上的文章，链接如下： Softmax理解之二分类与多分类 - 王峰的文章 - 知乎 https://zhuanlan.zhihu.com/p/45368976 本文首先分析了softmax的性质，然后得出了softmax可以看成 "多个二分类器加权结合" 的方法，具体内容如
阅读全文
摘要：一般理解softmax都是从“熵”这个角度，先从二分类的交叉熵入手，再延申到多分类的softmax损失函数。 今天则从另一个角度：smooth & 最优化 的角度入手来理解softmax损失函数。 转载知乎文章如下： 从最优化的角度看待Softmax损失函数 - 王峰的文章 - 知乎 https:/
阅读全文
摘要：寻找函数max(x, y)的平滑解： 由于max函数本身不可导，所以可以用一个函数近似这个max函数，从而获得平滑解。其形式如下： 解算步骤具体如下： 转载链接：https://kexue.fm/archives/3290
阅读全文
摘要：从香农的信息熵谈其起，再聊聊逻辑回归和softmax； softmax loss的梯度求导具体如下（全连接形式）： 更一般的形式： 前向/反向实现代码如下的两个例子： 例一： class SoftmaxLayer: def __init__(self, name='Softmax'): pass d
阅读全文
