监督学习 分类模型 逻辑回归

逻辑斯谛回归

- 线性回归的问题 一一 怎样判断肿瘤是否恶性?

 

 

- 线性回归健壮性不够，一旦有噪声，立刻“投降”

 

 

逻辑斯蒂回归 —— 分类问题

 

 

 

Sigmoid函数（压缩函数）

 

- 我们将线性回归拟合出来的值用压缩函数进行压缩，压缩完成后

　　用0.5做一个概率的判定边界，就能把样本分成两类，即正样本

 

 

 

 

 

• sigmoid函数中，中z的正负决定了 g(z)的值最后是大于0.5还是小于0.5；

　　即z大于0时,g(z)大于0.5, z小于0时,g(z)小于0.5

• 当z对应的表达式为分类边界时，恰好有分类边界两侧对应z正负不同，

　　也就使得分类边界两边分别对应g(z)>0.5和g(z)<0.5,因此根据g(z)与0.5的大小关系，

　　就可以实现分类

 

 

 

逻辑斯谛回归损失函数

-平方损失函数的问题

 

 

 

损失函数

 

 

 

 

这样，我们获得了一个凸函数。

 

 

梯度下降法求解