一、优化算法：我们知道，经过网络层的计算后，计算结果可能距离真值很远，此时，我们需要通过优化算法来不断调整计算值，使其最终的计算结果——预测值，与真值中的差异尽量小。
二、优化算法举例：
1、梯度下降：
Mini-batch梯度下降：用子训练集进行梯度下降
batch梯度下降：用整个训练集进行梯度下降
随机梯度下降：将一个样本当做一个子训练集
