摘要：
从wiki上面摘录下来http://zh.wikipedia.org/wiki/%E6%A2%AF%E5%BA%A6%E4%B8%8B%E9%99%8D%E6%B3%95 这个方法的作用是, 通过迭代, 迅速取得的最小值所在的坐标, 这样就可以作为一些惩罚函数的优化方法 梯度下降法，基于这样的观察：如果实值函数在点处可微且有定义，那么函数在点沿着梯度相反的方向下降最快。因而，如果对于为一个够小数值时成立，那么。考虑到这一点，我们可以从函数的局部极小值的初始估计出发，并考虑如下序列使得因此可得到如果顺利的话序列收敛到期望的极值。注意每次迭代步长可以改变。下侧的图片示例了这一过程，这里假设... 阅读全文