正向传播与反向传播

因为基础不好，所以混乱的很久。

正向传播是从输入到输出，依次计算，并且存储神经网络的中间变量

反向传播是沿着从输出层到输入层的顺序，一次计算并存储神经网络的中间变量和参数的梯度

在训练模型时，正向传播和反向传播相互依赖，交替进行

（正向传播计算，并为了便于反向传播而存储中间变量，反向传播则计算梯度以更新网络参数）