机器学习，优化——常用优化算法

先定义什么是优化，优化是求损失最小值情况下的参数。这里的调参不包括超参数，超参数怎么调可以参考。

1.梯度下降算法

小批量随机梯度下降（mini-batch stochastic gradient descent）在深度学习中被广泛使用。

它的算法很简单：

　　先选取一组模型参数的初始值，如随机选取；

　　接下来对参数进行多次迭代，使每次迭代都可能降低损失函数的值。

　　在每次迭代中，先随机均匀采样一个由固定数目训练数据样本所组成的小批量（mini-batch）B，

　　然后求小批量中数据样本的平均损失模型，参数的导数（梯度），

　　最后用此结果与预设的一个正数的乘积，作为模型参数在本次迭代的减小量。

 

2.

3.牛顿法

 

 

 

参考：

https://trickygo.github.io/Dive-into-DL-TensorFlow2.0/#/chapter03_DL-basics/3.1_linear-regression?id=_3121-%e7%a5%9e%e7%bb%8f%e7%bd%91%e7%bb%9c%e5%9b%be