优化函数，优化目标

当我们设定好正向结构和损失函数以后，我们就要通过优化函数来优化学习参数了，也就是反向传播。所谓反向传播就是沿着正想传播的结构向相反方向将误差传过去。比如使用L1、L2正则化、冲量调节、学习率自适应、adm随机梯度下降算法等。