机器学习之逻辑回归
一、分类问题
监督学习最主要类型:分类(Classification),输入变量可以是离散的,也可以是连续的,标签离散。
二分类:我们先从用蓝色圆形数据定义为类型1,其余数据为类型2;只需要分类1次。
多分类:我们先定义其中一类为类型1(正类),其余数据为负类(rest);接下来去掉类型1数据,剩余部分再次进行二分类,分成类型2和负类;如果有𝑛类,那就需要分类𝑛-1次。
二、Sigmoid函数
Sigmoid 函数:𝜎(𝑧) 代表一个常用的逻辑函数(logistic function)为𝑆形函数(Sigmoid function)则:𝜎(z)=g(z)=\({\frac{1}{1+e^(-z)}}\) Z=\({w^Tx+b}\) 合起来,我们得到逻辑回归模型的假设函数:
当𝜎 𝑧 大于等于0.5时,预测 y=1;当𝜎 𝑧 小于0.5时,预测 y=0
- 线性回归的函数 ℎ(x) = 𝑧 = \({𝑤^𝑇𝑥}\),范围是(−∞, +∞)。而分类预测结果需要得到[0,1]的概率值。在二分类模型中,事件的几率odds:事件发生与事件不发生的概率之比为\({\frac{p}{1-p}}\),称为事件的发生比,其中𝑝为随机事件发生的概率,𝑝的范围为[0,1]。
- 取对数得到\({log\frac{p}{1-p}}\),而\({log\frac{p}{1-p}}\)=z= \({𝑤^𝑇𝑥}\),求解得到p=\({\frac{1}{1+e^(-z)}}\)。
三、逻辑回归求解
四、 逻辑回归代码实现
五、参考资料
- Prof. Andrew Ng. Machine Learning. Stanford University
- 《统计学习方法》,清华大学出版社,李航著,2019年出版
- 《机器学习》,清华大学出版社,周志华著,2016年出版
- Christopher M. Bishop, Pattern Recognition and Machine Learning, Springer-Verlag, 2006
- Stephen Boyd, Lieven Vandenberghe, Convex Optimization, Cambridge University Press, 2004
- https://www.icourse163.org/course/WZU-1464096179