为什么 L1 正则化能做特征选择而 L2 正则化不能

假设我们的模型只有一个参数 $w$ ，损失函数为 $L (w)$ ，加入 L1 和 L2 正则化后的损失函数分别记为 $J_{1} (w), J_{2} (w)$ ：

\begin{matrix} J_{1} (w) = L (w) + λ | w | \\ J_{2} (w) = L (w) + λ w^{2} \end{matrix}

原损失函数 $L$ 在 $w = 0$ 处的导数记为 $L^{'} (0)$ ，那么 $J_{1}$ 在 $w = 0$ 处的左、右导数为：

\begin{matrix} J_{-}^{'} (0) = L^{'} (0) - λ \\ J_{+}^{'} (0) = L^{'} (0) + λ \end{matrix}

当 $λ > | L^{'} (0) |$ 时， $w = 0$ 处的左导数 $L^{'} (0) - λ < 0$ 、右导数 $L^{'} (0) + λ > 0$ ，此时 $w = 0$ 为 $J_{1}$ 的一个极小值点。

也就是说，即使 $L$ 不在 $w = 0$ 处取得极小值（ $L^{'} (0) \neq 0$ ），我们也能够通过调节 $λ$ 将损失函数的极小值点“转移”到 $w = 0$ 。

再来看 L2 正则化时的情况， $J_{2}$ 在 $w = 0$ 处的导数为：

J_{2}^{'} (0) = [L^{'} (w) + 2 λ w]_{w = 0} = L^{'} (0)

由此可见，如果 $L$ 不在 $w = 0$ 处取得极小值（ $L^{'} (0) \neq 0$ ），那么加入 L2 正则项后仍然不可能在 $w = 0$ 处取得极小值。

总结：L1 正则化能将损失函数的极小值点“转移”到 $w = 0$ 处，而 L2 正则化无论如何设置 $λ$ 都达不到这样的效果。

Loading