2017年3月2日
梯度下降中的步长选择-线性搜索
摘要： 固定步长的时候往往不能很快的梯度下降。 所以步长的选择也很重要。 下面的dk是搜索方向，在梯度下降中就是负梯度方向。 在这里是假设了h（a）是连续可导的函数，一般情况下也是这样。 找到合适的a有几种方式 1.简单的二分搜索 2.回溯法线性搜索 上式中小于等于号右边的式子是小于f（xk）的，因为dk是 阅读全文
posted @ 2017-03-02 22:15 fisherinbox 阅读(6001) 评论(0) 推荐(0) 编辑