2014年10月14日

SGD

摘要： http://www.52ml.net/2024.htmlhttp://blog.csdn.net/silence1214/article/details/22263969http://fuliang.iteye.com/blog/1482002http://blog.csdn.net/crcr/a... 阅读全文

posted @ 2014-10-14 22:21 alexanderkun 阅读(346) 评论(0) 推荐(0) 编辑

最速下降法

摘要： 1.最速下降方向函数f(x)在点x处沿方向d的变化率可用方向导数来表示。对于可微函数，方向导数等于梯度与方向的内积，即：Df(x;d)=▽f(x)Td,因此，求函数f(x)在点x处的下降最快的方向，可归结为求解下列非线性规划：min▽f(x)Tds.t.||d||≤1当d=-▽f(x)/||▽f(x... 阅读全文

posted @ 2014-10-14 20:55 alexanderkun 阅读(12148) 评论(0) 推荐(0) 编辑

L-BFGS

摘要： L-BFGS算法比较适合在大规模的数值计算中，具备牛顿法收敛速度快的特点，但不需要牛顿法那样存储Hesse矩阵，因此节省了大量的空间以及计算资源。本文主要通过对于无约束最优化问题的一些常用算法总结，一步步的理解L-BFGS算法，本文按照最速下降法 - 牛顿法 - 共轭梯度法 - 拟牛顿法 - DFP... 阅读全文

posted @ 2014-10-14 15:56 alexanderkun 阅读(5659) 评论(0) 推荐(0) 编辑

导航