权重衰减 - Weight Decay
简述
权重衰减（又称L2-正则化）是一种模型正则化（Regularzation）技术。
原理
- 首先，用权重向量的L2-范数来衡量模型函数的复杂度，这是对模型复杂度的量化。
- 把上述L2-范数加入到训练目标中。我的意思是，模型现在的训练目标调整为：最小化预测误差与L2-范数的和。
- 这个L2-范数也叫做惩罚项。上述做法的目标，是当权重向量增长得太大时，模型可能会更倾向于让权重的L2-范数变得更小，从而限制模型的复杂度。模型在训练时，预测损失和权重范数都在减小，因此这种方法被称为权重衰减。
- 引入非负正则化常数，平衡预测误差与惩罚项的权重。这是权重衰减的超参数。
- 上述预测损失，指的是不含惩罚项的损失函数值，例如预测标签和样本标签的交叉熵损失。
题外话：一种模型选择的策略
在深度学习领域， 最好的预测模型在训练数据上的表现往往比在保留（验证）数据上好得多。 最终，我们通常更关心验证误差，而不是训练误差和验证误差之间的差距。
我在毕设中并没有遵循这个原则，过度关注了后者。
其他资料 - 摘自李宏毅课件
