第9章 逻辑回归

逻辑回归：实际解决分类问题

回归怎么解决分类问题？将样本的特征和样本发生的概率联系起来，概率是一个数，由于概率是一个数，所以可以管它叫做回归问题。对于机器学习算法来说，本质就是 求出一个函数小f，如果此时有一个样本x，经过f的运算之后就会得到一个预测值，通常称之为y。y的值实际上就是本身我们关心的那个指标。但是在逻辑回归中，我们得到的y的值本质是一个概率值。如果我们不进行最后一步根据p的值进行分类的操作的话，那么他此时就是一个回归算法（我们计算出的是：我们通过一个样本的特征来拟合计算一个事件发生的概率）；那么我们通过这个概率就可以进一步给他分类

 

 多分类问题逻辑回归本身是不支持的（当然可以使用一些其他的技巧进行改进）,KNN算法天生可以支持多分类问题

,

 

 

 

， 

 

 

 , 

 

 , 

 

 , 

 

 , 

 逻辑回归损失函数的梯度求解（梯度下降法）

，

 

 

 ，

 

 

 ，

 

 

 ，

 

 

 ，

 

 

 ， 

 

 

 

 

 

 

 

 ， 

 

 

 在逻辑回归中使用多项式特征

 防止过拟合：使用正则化方法

  ，另一种正则化方法：

 ，

 

 ，

 

 

 

 

 

 

 ，