权重衰减

1. 通常权重衰减等价于L2正则化

控制模型容量方法：

• 模型变得比较小，即参数比较少。
• 参数值的选择范围比较小。

权重衰减通过限制参数值的选择范围来控制模型容量：

$$min\ \ell(\mathbf{w}, b) \ \ \ \ subject\ to\ \ ||\mathbf{w}||^2 \leqslant \theta \tag{1}$$

• 通常不限制偏移 $b$（限不限制都差不多）
• 小的 $\theta$ 意味更强的正则项。

通过拉格朗日乘子法可以证明目标函数 $(1)$ 等价于：

$$min\ \ell(\mathbf{w}, b) + \frac{\lambda}{2}||\mathbf{w}||^2 \tag{2}$$

超参数 $\lambda$ 控制了正则项的重要程度。

• $\lambda = 0$：无作用。
• $\lambda \to \infty$，$\mathbf{w}^* \to 0$。

拉格朗日乘子法用于解决约束条件下的多元函数极值问题。

举例，求 $f(x,y)$ 的最小值，但是有约束 $C(x,y) = 0$。

乘子法给的一般思路是，构造一个新的函数 $g(x,y,λ) = f(x,y) +λC(x,y)$，当同时满足 $g'x = g'y = 0$时，函数取到最小值。这件结论的几何含义是，当$f(x,y)$ 与 $C(x,y)$ 的等高线相切时，取到最小值。

1.1 梯度下降法更新参数

计算梯度：

$$\frac{\partial}{\partial \mathbf{w}}\left(\ell(\mathbf{w}, b)+\frac{\lambda}{2}\|\mathbf{w}\|^2\right)=\frac{\partial \ell(\mathbf{w}, b)}{\partial \mathbf{w}}+\lambda \mathbf{w}$$

时间 $t$ 更新参数：

$$\mathbf{w}_{t+1}=(1-\eta \lambda) \mathbf{w}_t-\eta \frac{\partial \ell\left(\mathbf{w}_t, b_t\right)}{\partial \mathbf{w}_t}$$

通常 $\eta \lambda < 1$，所以 $L2$ 正则化等价于权重衰减。

2. 权重衰减是否真正等价于L2正则化

如果用标准的梯度下降法或是随机梯度下降，那么权重衰减和 $L2$ 正则化是等价的。

如果是用 $Adam$ 这样的优化后的算法，那么权重衰减和 $L2$正则化就不等价。