摘要：
数值稳定性和模型初始化 目标：深度学习模型的数值稳定性问题以及模型参数的初始化方法。 深度模型有关数值稳定性的典型问题是衰减（vanishing）和爆炸（explosion）。 衰减和爆炸 当神经网络的层数较多时，模型的数值稳定性容易变差。假设一个层数为$L$的多层感知机的第$l$层$\boldsy 阅读全文
摘要：
正向传播、反向传播和计算图 使用数学来描述正向传播和反向传播。具体来说，我们将以带 \(L2\) 范数正则化的含单隐藏层的多层感知机为样例模型解释正向传播和反向传播。 正向传播 正向传播（forward propagation）是指对神经网络沿着从输入层到输出层的顺序，依次计算并存储模型的中间变量（ 阅读全文