【机器学习数学】梯度下降法
梯度下降法（gradient descent）/ 最速下降法（steepest descent）求解无约束最优化问题：
其中f(x)是R^n上具有一阶连续偏导数的函数，
表示目标函数f(x)的极小点。
梯度下降法：
输入：目标函数f(x)，梯度函数
，计算精度e；
输出：f(x)的极小值点
（1）取初始值
，置k = 0
（2）计算
（3）计算梯度
，当 
时，停止迭代， 令
；否则，令
，求
，使
（4）置
，计算
当
或
时，停止迭代。令
。
（5）否则，置k = k + 1，转（3）
当目标函数时凸函数时， 梯度下降法的解是全局最优解。一般情况下，其解不保证为全局最优解。梯度下降法收敛速度也未必是最快的。
