摘要： 1 卷积神经网络基础 1.1 二维卷积层 1.1.1 二维互相关运算 二维互相关（cross correlation）运算的输入是一个二维输入数组和一个二维核（kernel）数组，输出也是一个二维数组，其中核数组通常称为卷积核或过滤器（filter）。卷积核的尺寸通常小于输入数组，卷积核在输入数组上 阅读全文

摘要： 1 梯度消失和梯度爆炸 深度模型有关数值稳定性的典型问题是 消失（vanishing） 和 爆炸（explosion） 。 当神经网络的层数较多时，模型的数值稳定性容易变差。 假设一个层数为$L$的多层感知机的第$l$层$\boldsymbol{H}^{(l)}$的权重参数为$\boldsymbol 阅读全文

摘要： 1 训练误差和泛化误差 训练误差（training error） ：模型在训练数据集上表现出的误差。 泛化误差（generalization error） ：模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。 计算训练误差和泛化误差可以使用之前介绍过的损失函数，例如 阅读全文