随笔分类 -  优化

摘要:[原创]用“人话”解释不精确线搜索中的Armijo-Goldstein准则及Wolfe-Powell准则 转载请注明出处:http://www.codelast.com/ line search(一维搜索,或线搜索)是最优化(Optimization)算法中的一个基础步骤/算法。它可以分为精确的一维 阅读全文
posted @ 2016-06-01 21:23 菜鸡一枚 阅读(1532) 评论(0) 推荐(0) 编辑
该文被密码保护。
posted @ 2015-09-28 20:47 菜鸡一枚 阅读(1) 评论(0) 推荐(0) 编辑
摘要:Stochastic Optimization TechniquesNeural networks are often trained stochastically, i.e. using a method where the objective function changes at each i... 阅读全文
posted @ 2015-09-27 19:13 菜鸡一枚 阅读(725) 评论(0) 推荐(0) 编辑
摘要:关于拉格朗日乘子法与KKT条件关于拉格朗日乘子法与KKT条件目录拉格朗日乘子法的数学基础共轭函数拉格朗日函数拉格朗日对偶函数目标函数最优值的下界拉格朗日对偶函数与共轭函数的联系拉格朗日对偶问题如何显式的表述拉格朗日对偶问题由定义消去下确界隐式求解约束共轭函数法弱对偶强对偶原始问题与对偶问题的关系最优... 阅读全文
posted @ 2015-08-11 18:57 菜鸡一枚 阅读(5163) 评论(0) 推荐(0) 编辑
摘要:在线最优化求解(Online Optimization)之五:FTRL在上一篇博文中中我们从原理上定性比较了L1-FOBOS和L1-RDA在稀疏性上的表现。有实验证明,L1-FOBOS这一类基于梯度下降的方法有比较高的精度,但是L1-RDA却能在损失一定精度的情况下产生更好的稀疏性。那么这两者的优点... 阅读全文
posted @ 2015-07-29 19:53 菜鸡一枚 阅读(4014) 评论(0) 推荐(0) 编辑
摘要:在线最优化求解(Online Optimization)之四:RDA不论怎样,简单截断、TG、FOBOS都还是建立在SGD的基础之上的,属于梯度下降类型的方法,这类型方法的优点就是精度比较高,并且TG、FOBOS也都能在稀疏性上得到提升。但是有些其它类型的算法,例如RDA从另一个方面来求解Onlin... 阅读全文
posted @ 2015-07-29 19:52 菜鸡一枚 阅读(1080) 评论(0) 推荐(0) 编辑
摘要:在线最优化求解(Online Optimization)之三:FOBOSFOBOS (Forward-Backward Splitting)是由John Duchi和Yoram Singer提出的[11]。从全称上来看,该方法应该叫FOBAS,但是由于一开始作者管这种方法叫FOLOS(Forward... 阅读全文
posted @ 2015-07-29 19:52 菜鸡一枚 阅读(3564) 评论(0) 推荐(0) 编辑
摘要:在线最优化求解(Online Optimization)之一:预备篇动机与目的在实际工作中,无论是工程师、项目经理、产品同学都会经常讨论一类话题:“从线上对比的效果来看,某某特征或因素对xx产品的最终效果有很大的影响”。这类话题本质上说的是通过已有的数据反映出某些特定的因素对结果有很强的正(或负)相... 阅读全文
posted @ 2015-07-29 19:43 菜鸡一枚 阅读(4439) 评论(0) 推荐(0) 编辑
摘要:在线最优化求解(Online Optimization)之二:截断梯度法(TG)在预备篇中我们做了一些热身,并且介绍了L1正则化在Online模式下也不能产生较好的稀疏性,而稀疏性对于高维特征向量以及大数据集又特别的重要。因此,从现在开始,我们沿着提升模型稀疏性的主线进行算法介绍。为了得到稀疏的特征... 阅读全文
posted @ 2015-07-29 19:43 菜鸡一枚 阅读(2060) 评论(0) 推荐(0) 编辑
摘要:随机梯度下降(Stochastic gradient descent)和 批量梯度下降(Batch gradient descent )的公式对比、实现对比梯度下降(GD)是最小化风险函数、损失函数的一种常用方法,随机梯度下降和批量梯度下降是两种迭代求解思路,下面从公式和实现的角度对两者进行分析,如... 阅读全文
posted @ 2015-05-19 14:21 菜鸡一枚 阅读(489) 评论(0) 推荐(0) 编辑
摘要:拟牛顿法/Quasi-Newton,DFP算法/Davidon-Fletcher-Powell,及BFGS算法/Broyden-Fletcher-Goldfarb-Shanno转载须注明出处:http://www.codelast.com/在最优化领域,有几个你绝对不能忽略的关键词:拟牛顿、DFP、... 阅读全文
posted @ 2015-05-18 19:25 菜鸡一枚 阅读(2318) 评论(0) 推荐(0) 编辑
摘要:http://aria42.com/blog/2014/12/understanding-lbfgs/Numerical optimization is at the core of much of machine learning. Once you’ve defined your model a... 阅读全文
posted @ 2014-12-03 12:43 菜鸡一枚 阅读(682) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示