权重衰退

一、前言

1、怎么控制一个模型的容量

• 模型比较小（参数比较少）
• 每个参数选择的值比较小

2、正则化就是用来限制参数值的取值范围来控制模型容量

 

二、正则化

1、正则化的目的：防止过拟合

2、正则化其实可以理解为规则化。相当于一个限制，就是说可以给训练的目标函数加上一些规则（限制），让他们不要自我膨胀

 

三、权重衰减

1、通常称为L2正则化，是最广泛使用的正则化的技术之一。（L2范数：向量元素平方和的平方根） 

 

2、L2正则化回归的小批量随机梯度下降

 

3、可以发现，我们根据估计值和观测值之间的差异来更新 w。较小的 λ 值对应较少约束的 w ，而较大的 λ 值对 w 的约束更大。