3.优化和方向传播

1.优化

主要讲了 随机优化 和 梯度下降优化两种方式
目前深度学习主要是采用的 梯度优化 这种方式，来进行模型参数优化，来训练出一个在测试集上表现较好的模型

2.反向传播

主要内容：
计算图
通过计算图，来计算每个本地节点的梯度，再通过链式求导法则来进行反向传播求任一一个节点的梯度