吴恩达机器学习_49代价函数/50简化代价函数与梯度

一、logistic 回归的代价函数：

1、y = 1

 

 

图像左侧无穷大的通俗解释：假设我们预测y = 1 的概率为0，但如果y确实等于1，那么我们会用非常大的代价值来惩罚这个学习函数。

 

2、y = 0

 

 

 图像右侧无穷大的通俗解释：如果最后y = 0，而我们几乎非常肯定的预测y = 1的概率等于1，那么我们就要为此付出非常大的代价值

 

二、简化代价函数与梯度下降

logistic回归的代价函数：

 

 

代价函数J等于： 1/m乘以对应不同标签的yⁱ的各个训练样本在预测时付出的代价之和

将代价函数简化为一个式子，我们可以得到：

 

我们使用梯度下降法求使得J最小的参数θ，思路如下

 

 

 求得式中的偏导项为 ，回带到上述梯度下降法，得到

 

  完整的梯度下降法如下：

 

 注意：虽然logistic回归梯度下降算法和线性回归梯度下降算法的式子相同，但假设函数h_θ(x)是不一样的