梯度下降法注意要点

1.不同的起始点,可能导致最后得到的局部最小值点不同。

 

2.同时更新:

  以代价函数J(θ0,θ1)为例:

  我们的目的就是要同时迭代更新θ0和θ1,直到下面这个式子收敛,这也是梯度下降法的核心

         
 

  其中,j取值为0和1。

 

  每次迭代的时候,我们需要同时更新θ1,θ2,...,θn,我个人的理解就是,先都用原来的θ1,θ2,...,θn,对各自的θj求完偏导数之后,再进行迭代更新:

  直接上图,更能解释清楚:

 

posted @ 2018-08-29 16:21  Loser_King  阅读(265)  评论(0编辑  收藏  举报