机器学习重要的方法

梯度下降法，牛顿法，拉格朗日乘子法

梯度下降法

代表，liner regression
原理，根据生成的cost function   

其中

易知此方程的未知数为 thetao和theta1，二元二次方程图形就是有个凹陷的。

每次沿着切线方向前进若干距离

参考http://blog.csdn.net/xiazdong/article/details/7950084

牛顿法

可以看到值是逐渐逼近x*的

参考http://blog.csdn.net/luoleicn/article/details/6527049

拉格朗日乘子法

是求函数f(x1,x2,...)在g(x1,x2,...)=0的约束条件下的极值的方法。

例子：