LR的深入理解资料汇集
今天面试被问到LR的算法的梯度和正则化项,自己不太理解,所以找了一些相关资料,发现LR的算法在梯度下降,正则化和sigmoid函数方面都有很深的研究,期间也发现一些比较好的资料,记录一下。
这篇论文推导了LR和最大熵模型之间的关系
http://www.win-vector.com/dfiles/LogisticRegressionMaxEnt.pdf
这篇文章是论文的翻译和理解,帮助看论文。
https://blog.csdn.net/qq_32742009/article/details/81746955
主要结论:二项分布的最大熵就是二项指数的最大似然估计。
证明方法:假设x服务二项指数分布,求解二项分布的参数,最后x被推出服从二项指数分布,整个推导过程是一个闭环。
疑点是:是为什么要假设x服务二项指数分布呢?(备注:二项指数分布也就是逻辑斯蒂分布)
算法一般是假设正太分布,为什么不直接假设是正太分布呢?
凸函数定义
https://blog.csdn.net/feilong_csdn/article/details/83476277
LR的L1正则化不可导证明:
https://blog.csdn.net/luoyexuge/article/details/79594554
坐标下降法
https://blog.csdn.net/xiaocong1990/article/details/83039802
还有一种近端梯度下降求解的方法:
https://www.zhihu.com/question/38426074/answer/76683857
这篇文章讲解了简单截断,梯度截断和L1正则化之间的关系
https://www.cnblogs.com/yymn/p/4686999.html
梯度截断的lambda=theta时,梯度截断就等于简单截断。
梯度截断的lambda=正无穷且k=1,梯度截断就等于L1正则化。
这篇文章重在讲解思路,相关公式在链接中。另有一些工程优化,值得看。
https://blog.csdn.net/hiwallace/article/details/81237089
https://blog.csdn.net/hiwallace/article/details/81237089