2014年12月30日
重新发现梯度下降法--backtracking line search
摘要： 一直以为梯度下降很简单的，结果最近发现我写的一个梯度下降特别慢，后来终于找到原因：step size的选择很关键，有一种叫backtracking line search的梯度下降法就非常高效，该算法描述见下图：下面用一个简单的例子来展示，给一个无约束优化问题：minimize y = (x-3)*... 阅读全文
posted @ 2014-12-30 01:03 ttang 阅读(10256) 评论(3) 推荐(3) 编辑