【机器学习算法应用和学习_2_理论篇】2.2 M_分类_逻辑回归

一、原理阐述

---

算法类型：监督学习_分类算法

输入：数值型或标称型(标称型需要独热编码)

V1.0

---

　　 用回归方式解决二分类问题，通过引入一个Sigmoid函数将中间y值映射到实际二分类的y值上。

二、算法选择

---

 

三、算法过程

---

 

 1.Sigmoid函数是一个x值域是(-∞,+∞)，y值域是(0,1)的单调递增函数；

2.预测y值>0.5为1类，<0.5为0类，y值也可以解释为为1和0类的概率；

3.同样使用“最小二乘”概念，求得最佳方程，得到目标函数；

4.要使得目标函数达到最小，需要采用一种称为“梯度下降”的算法，其过程大致为：在一个类似山脉的超平面上，从任一点出发，计算偏导数，沿着偏导数为负的方向前进一定距离（称为“学习速率”），直到初始点与移动后的点差值变化很小（称为“收敛”）为止。

度量：最小二乘，目标函数：最小二乘，目标函数解法：梯度下降

四、特点

---

优点：实现简单，易于理解和实现；计算代价不高，速度很快，存储资源低。

缺点：容易欠拟合，分类精度可能不高。对异常值和缺失值敏感

五、代码API

---