提前终止 在对模型进行训练时，我们可以将我们的数据集分为三个部分，训练集、验证集、测试集。我们在训练的过程中，可以每隔一定量的step，使用验证集对训练的模型进行预测，一般来说，模型在训练集和验证集的损失变化如下图所示： 可以看出，模型在验证集上的误差在一开始是随着训练集的误差的下降而下降的。当超过 Read More
全零初始化 全零初始化即所有的变量均被初始化为0，这应该是最笨、最省事的随机化方法了。然而这种偷懒的初始化方法非常不适合深度学习，因为这种初始化方法没有打破神经元之间的对称性，将导致收敛速度很慢甚至训练失败。 常量初始化(constant) 把权值或者偏置初始化为一个常数，具体是什么常数，可以自己定 Read More
数据标准化的几种方法： 1.标准化： 数据标准化是指数据的各维度减均值除以标准差，这是最常用的标准化方法。 公式：(xi−μ)/σ 其中μ指的是样本的均值，σ指的是样本的标准差。 2.归一化： 数据归一化是指数据减去对应维度的最小值除以维度最大值减去维度最小值，这样做可以将数值压缩到[0,1]的区间 Read More