【机器学习】逻辑回归详解总结

【机器学习】逻辑回归详解总结

一、总结

一句话总结：

还是要看【视频结合看书】，这样才有意义，还是得【多看书】，【多看视频】

 

1、Logistic 回归的本质？

假设数据服从这个分布，然后使用【极大似然估计做【参数的估计】】。

 

2、逻辑回归 中的最大化似然函数和最小化损失函数的关系？

在逻辑回归模型中，我们最大化似然函数和最小化损失函数实际上是【等价】的。

 

3、逻辑回归求解方法？

1.【随机梯度下降】：梯度下降是通过 J(w) 对 w 的一阶导数来找下降方向，并且以迭代的方式来更新参数

2.【牛顿法】：牛顿法的基本思路是，【在现有极小点估计值的附近对 f(x) 做【二阶泰勒展开】，进而找到极小点的下一个【估计值】】。

 

4、逻辑回归与线性回归 对比？

逻辑回归是在线性回归的基础上【加了一个 Sigmoid 函数】（非线形）映射，使得逻辑回归称为了一个优秀的分类算法。

本质上来说，两者都属于广义线性模型，但他们两个要解决的问题不一样，逻辑回归解决的是【分类问题】，输出的是离散值，线性回归解决的是【回归问题】，输出的连续值。

 

5、逻辑回归与最大熵模型 对比？

逻辑回归和最大熵模型【本质上没有区别】，最大熵在解决二分类问题时就是逻辑回归，在解决多分类问题时就是【多项逻辑回归】。

 

6、逻辑回归与朴素贝叶斯 对比？

朴素贝叶斯和逻辑回归都属于分类模型，当朴素贝叶斯的条件概率 P(X|Y=c_k) 服从高斯分布时，它【计算出来的 P(Y=1|X) 形式跟逻辑回归是一样的】。

两个模型不同的地方在于：逻辑回归是【判别式模型 p(y|x)】，朴素贝叶斯是【生成式模型 p(x,y)】

 

 

 

二、【机器学习】逻辑回归详解总结

转自：https://zhuanlan.zhihu.com/p/74874291