深度学习中的前向传播与反向传播

在深度学习中，前向传播与反向传播是很重要的概念，因此我们需要对前向传播与反向传播有更加深刻的理解，假设这里有一个三层的神经网络

在这里，上面一排表示的是前向传播，后面一排表示的是反向传播，在前向传播的情况每一层将通过一层激活函数去线性化，并且在前向传播的过程中会缓存z[l],最终输出y'计算出损失函数的导数作为反向传播的输出，

超参数的理解

在上述神经网络中，参数为W[1],b[1],W[2],b[2],W[3],b[3]等，对于影响这些参数的参数我们称为超参数，那么我们逐步进行梳理

学习率learning rate α

迭代次数 iterations

隐藏层数hidden layers L

隐藏单元hidden units n[1],n[2],.....

以上这些东西都是可以影响W和b的，因此我们将其称为超参数hyper parameters