机器学习中常用的优化算法：

http://blog.csdn.net/losteng/article/details/50993911

有知识点和代码的实现过程。

机器学习中常用的优化算法：

1.梯度下降法

2.牛顿法和拟牛顿法

3.共轭梯度法

4.启发式优化方法