2014年11月5日
梯度下降法
摘要： 一、基本概念梯度下降法，就是利用负梯度方向来决定每次迭代的新的搜索方向，使得每次迭代能使待优化的目标函数逐步减小。梯度下降法是2范数下的最速下降法。 最速下降法的一种简单形式是：x(k+1)=x(k)-a*g(k),其中a称为学习速率，可以是较小的常数。g（k）是x(k)的梯度。二、导数(1)定义设... 阅读全文
posted @ 2014-11-05 09:44 OrangeSec 阅读(401) 评论(0) 推荐(0) 编辑