2015年5月28日
【原创】牛顿法和拟牛顿法 -- BFGS, L-BFGS, OWL-QN
摘要： 数据、特征和数值优化算法是机器学习的核心，而牛顿法及其改良（拟牛顿法）是机器最常用的一类数字优化算法，今天就从牛顿法开始，介绍几个拟牛顿法算法。本博文只介绍算法的思想，具体的数学推导过程不做介绍。1. 牛顿法牛顿法的核心思想是”利用函数在当前点的一阶导数，以及二阶导数，寻找搜寻方向“（回想一下更简单... 阅读全文
posted @ 2015-05-28 17:18 snen 阅读(18779) 评论(1) 推荐(4) 编辑