梯度下降

梯度下降原理：将函数比作一座山，我们站在某个山坡上，往四周看，从哪个方向向下走一小步，能够下降的最快；
当然解决问题的方法有很多，梯度下降只是其中一个，还有一种方法叫Normal Equation（标准方程）；
    方法：
(1)先确定向下一步的步伐大小，我们称为Learning rate；
(2)任意给定一个初始值：；
(3)确定一个向下的方向，并向下走预先规定的步伐，并更新；
(4)当下降的高度小于某个定义的值，则停止下降；




posted @ 2015-09-08 14:24  iAthena  阅读(193)  评论(0)  编辑  收藏  举报