摘要:
3.11模型选择、欠拟合和过拟合 Dive Into Deep Learning 训练误差和泛化误差 训练误差(train-error): 模型在训练数据集上表现出的误差 泛化误差(generalization error): 模型在任意一个测试数据样本上表现出的误差的期望,并常常通过测试数据集上的 阅读全文
摘要:
权重衰减 应对过拟合问题的常用方法:权重衰减(weight decay) 方法 权重衰减等价于$L_2$范数正则化(regularization) $L_2$范数正则化在模型原损失函数基础上添加$L_2$范数惩罚项,从而得到训练所需要最小化的函数.$L_2$范数惩罚项指的是模型权重参数每个元素的平方 阅读全文