摘要：
丢弃法 深度学习模型常常使用丢弃法(dropout) 来应对过拟合问题。本节中提到的丢弃法特指倒置丢弃法（inverted dropout） 输入个数为4，隐藏单元个数为5，且隐藏单元$h_i$（\(i=1, \ldots, 5\)）的计算表达式为 \(h_i = \phi\left(x_1 w_{ 阅读全文
摘要：
3.11模型选择、欠拟合和过拟合 Dive Into Deep Learning 训练误差和泛化误差 训练误差(train-error): 模型在训练数据集上表现出的误差 泛化误差(generalization error): 模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的 阅读全文
摘要：
权重衰减 应对过拟合问题的常用方法：权重衰减（weight decay） 方法 权重衰减等价于$L_2$范数正则化（regularization） $L_2$范数正则化在模型原损失函数基础上添加$L_2$范数惩罚项，从而得到训练所需要最小化的函数.$L_2$范数惩罚项指的是模型权重参数每个元素的平方 阅读全文