【机器学习】逻辑回归的代价函数及其梯度下降公式推导-转载

1.损失函数及其求解

线性回归模型的模型如下：

 

 

 

 

逻辑回归的模型定义（需要借助Sigmoid函数）：

 

 

 

 

将上述线性回归的模型带入到g(x)中，得到最终的逻辑回归的模型：

 

 

 

 

假定上个表达式是等于类 1 的概率，自然等于类 0 的概率等于1减去等于类 1 的概率，如下所述：

 

 

 

 

将上面两个式子整合为下面一个公式：

 

 

 

 

那么似然函数为

 

 

 

 

m表示样本个数，为了方便计算，取对数得

 

 

 

 

求上式的极大值，引入因子 -1/m，转化为求下式的极小值：

 

 

 

 

这就是逻辑回归的log损失函数，其中

 

 

 

 

那我们通过梯度下降更新 theta

 

 

 

 

其中α是学习步长。
下面给出怎样推导上面的偏导数：

 

 

 

 

sigmoid函数的导数为：

g(x)' = g(x)*(1-g(x))

 sigmoid函数的导数推导过程：Click here