LR的损失函数&为何使用-log损失函数而非平方损失函数
https://blog.csdn.net/zrh_CSDN/article/details/80934278
Logistic回归的极大似然估计求解参数的推导: https://blog.csdn.net/LegenDavid/article/details/79221063
推导到最后要计算的方程(对各个参数求偏导,使其等于0,这样联合概率取得最大值--极大似然),和 Logistic回归采用-log损失函数(对各个参数求偏导,使其等于0,这样损失函数取得最小值--预测最为准确)
这两个地方最后推导出来的偏导式子相同(只差前面一个正负号,对于等于0是不影响的),这也是从极大似然估计角度证明了,为何Logistic回归要使用-log损失函数
3. 概率距离
LR模型预估的是概率,自然的,损失函数可以用联合概率分布来衡量。
比较式(2)和式(3)可知:
由于log函数为单调递增函数,log距离和概率距离本质上是一样的,训练得到的结果也应该一致。
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步