逻辑回归
逻辑回归
是一种二分类的有监督模型。将因变量视为0|1分布，则可以通过极大似然概率，来估计模型参数。
其损失函数为交叉熵损失函数，由于损失函数是高阶可导的凸函数，因此有很好的性质。
基本介绍
函数集
逻辑回归是基于Sigmoid函数
\[\sigma(x)=\frac{1}{1+e^{-z}}
\]
\[z=w^Tx+b
\]
其函数集为
\[f_{w,b}(x)=\sigma(\sum_{i}w_ix_i+b)
\]
函数评价
函数评价就是如何评价上面的函数集，从中选择一个或一组最好的函数。
其损失函数为交叉熵损失函数，
\[L=-\sum_{k}[\hat{y}_{k}log(y_k)+(1-\hat{y}_k)log(1-y_k)]
\]
可以看到，是两个伯努利分布（0-1分布）的交叉熵。
发现最好的函数
find the best function, 就是求解，得到参数\(w\), \(b\).
\[\frac{\partial{L}}{\partial{w_i}}=-\sum_{k}(\hat{y}_k-y_k)x_i
\]
应用场景
逻辑回归是一个二分类的有监督模型。
其优点有：
- 特征可以是连续的，也可以是类别的
- 分类结果可解释性好
需要注意的点：
- 需要进行数据预处理。
- 特征的量纲影响大，可以做标准化或归一化
- 特征的共线性，可以通过降维或者聚类处理
- 需要处理异常值
- 缺失值的处理，可以进行填充或者删除该特征等
- 容易欠拟合，分类精度不高
综上，应用场景可以总结为：
- 有监督的分类任务
- 非大数据的场景
- 特征维度不是特别多，因为维度过多，一般多表现为非线性性，而逻辑回归多处理线性问题
- 需要解释性强的场景
相关问答
- 为什么逻辑回归不用MSE?
应用MSE后，其损失函数的微分都是0，不管远近，就不更新了。
参考
1.李宏毅，机器学习，2020
2.周志华，机器学习，清华大学出版社，2016
