机器学习之逻辑回归
一、分类问题
监督学习最主要类型：分类（Classification），输入变量可以是离散的，也可以是连续的，标签离散。
二分类：我们先从用蓝色圆形数据定义为类型1，其余数据为类型2；只需要分类1次。
多分类：我们先定义其中一类为类型1（正类），其余数据为负类（rest）；接下来去掉类型1数据，剩余部分再次进行二分类，分成类型2和负类；如果有𝑛类，那就需要分类𝑛-1次。
二、Sigmoid函数
Sigmoid 函数：𝜎(𝑧) 代表一个常用的逻辑函数（logistic function）为𝑆形函数（Sigmoid function）则：𝜎(z)=g(z)=\({\frac{1}{1+e^(-z)}}\) Z=\({w^Tx+b}\) 合起来，我们得到逻辑回归模型的假设函数：
当𝜎 𝑧 大于等于0.5时，预测 y=1;当𝜎 𝑧 小于0.5时，预测 y=0
- 线性回归的函数 ℎ(x) = 𝑧 = \({𝑤^𝑇𝑥}\)，范围是(−∞, +∞)。而分类预测结果需要得到[0,1]的概率值。在二分类模型中，事件的几率odds：事件发生与事件不发生的概率之比为\({\frac{p}{1-p}}\)，称为事件的发生比，其中𝑝为随机事件发生的概率，𝑝的范围为[0,1]。
- 取对数得到\({log\frac{p}{1-p}}\),而\({log\frac{p}{1-p}}\)=z= \({𝑤^𝑇𝑥}\)，求解得到p=\({\frac{1}{1+e^(-z)}}\)。
三、逻辑回归求解
四、 逻辑回归代码实现
五、参考资料
- Prof. Andrew Ng. Machine Learning. Stanford University
- 《统计学习方法》，清华大学出版社，李航著，2019年出版
- 《机器学习》，清华大学出版社，周志华著，2016年出版
- Christopher M. Bishop, Pattern Recognition and Machine Learning, Springer-Verlag, 2006
- Stephen Boyd, Lieven Vandenberghe, Convex Optimization, Cambridge University Press, 2004
- https://www.icourse163.org/course/WZU-1464096179
