梯度下降中的步长选择-线性搜索

固定步长的时候往往不能很快的梯度下降。

所以步长的选择也很重要。

下面的dk是搜索方向，在梯度下降中就是负梯度方向。

在这里是假设了h（a）是连续可导的函数，一般情况下也是这样。

找到合适的a有几种方式

1.简单的二分搜索

2.回溯法线性搜索

上式中小于等于号右边的式子是小于f（xk）的，因为dk是跟异号的。

回溯的时候可以不断的除以2，c1可以取值0.3

 

posted @ 2017-03-02 22:15  fisherinbox  阅读(6001)  评论(0)  编辑  收藏  举报