2018年5月8日
梯度下降法和牛顿法的总结与比较
摘要： 机器学习的本质是建立优化模型，通过优化方法，不断迭代参数向量，找到使目标函数最优的参数向量。最终建立模型 通常用到的优化方法：梯度下降方法、牛顿法、拟牛顿法等。这些优化方法的本质就是在更新参数。 一、梯度下降法 0、梯度下降的思想 · 通过搜索方向和步长来对参数进行更新。其中搜索方向是目标函数在当前 阅读全文
posted @ 2018-05-08 19:36 岁月静好--lyr 阅读(13846) 评论(3) 推荐(0) 编辑