一、逻辑回归概念

  线性回归可以拟合X与Y之间的关系,但回归模型中Y值是连续的,如果换成一个二分类标签,Y只能取两个值0、1,这时候就不能用线性回归了,这样就有了逻辑回归。

  针对Y的值域在区间[0-1]的问题,我们不能寻找到一条完美曲线,用于拟合二分类模型,但我们可以寻找一条完美的S型曲线,S型曲线叫Sigmoid曲线,

 二、Sigmoid函数介绍

  Sigmoid函数数学表达示

  

以二分类为例,逻辑回归就是假设y=1的概率为(P(Y = 1))与X之间是S曲线关系,数学表达式为

 

逻辑回归核心原理是在线性回归的基础上加上一个Sigmoid函数,把训练数据通过Sigmoid函数整合到(0---1)之间。

逻辑回归的损失函数为

 

逻辑回归只能用梯度下降法来求解参数w,b,不能用最小二乘法。

 

逻辑回归虽然有“回归”两字,但是他解决的是分类问题,而不是回归问题,逻辑回归是最经典和最常用的一个分类算法

随机梯度下降:每次只考虑一个样本

批量梯度下降:考虑所有样本