[机器学习复习笔记] 岭回归、LASSO回归

岭回归、LASSO回归

1. 岭回归

1.1 岭回归 L2正则化

在之前的 中，使用 最小二乘法求解线性回归问题 时，讨论到了 $X^{T}X$ 是否可逆。

最小二乘法得到的解析解为：

$$\theta =(X^{T}X{)}^{-1}{X}^{T}y$$

此时只有 $X$ 列满秩 才有解，即 $\text{rank}(X)=\text{dim}(X)$

有时候，数据的 特征数量 $d$ 大于 样本数量 $n$，此时 无法满足列满秩 ；即便满足 $X$ 列满秩，如果 数据特征之间的相关性比较大，会使得最小二乘法求解不稳定，$X^{T}X$ 的行列式接近于 $0$。此时就需要给 损失函数 添加一个 惩罚项 $\frac{\lambda }{2}||\theta |{|}_2^2$，即 $\frac{\lambda }{2}\sum _{j=1}^d{\theta }_j^2$，称作 L2正则化 （ $\lambda$ 为 正则化力度）。

此时，损失函数 及其 偏微分 如下：

$$E=\frac{1}{2}\sum _{i=1}^n(y^{(i)}-f_{\theta }(x^{(i)}){)}^2+\frac{\lambda }{2}\sum _{j=1}^d{\theta }_j^2$$

$$\frac{\partial E}{\partial {\theta }_j}=\sum _{i=1}^n(f_{\theta }(x^{(i)}-y^{(i)}))x_j^{(i)}+\lambda {\theta }_j$$

可以将上面的式子 向量化表示：

$$E=\frac{1}{2}(y-X\theta {)}^T(y-X\theta )+\frac{\lambda }{2}{\theta }^T\theta$$

其中 $X\in {\mathbb{R}}^{n\times d}$, $\theta \in {\mathbb{R}}^{d\times 1}$, $y\in {\mathbb{R}}^{n\times 1}$.

损失函数拆开然后求偏微分：

$$\begin{array}{rl}E& =\frac{1}{2}(y^T-{\theta }^T{X}^T)(y-X\theta )+\frac{\lambda }{2}{\theta }^T\theta \\ \\ & =\frac{1}{2}(y^{T}y-{\theta }^T{X}^{T}y-y^{T}X\theta +{\theta }^T{X}^{T}X\theta )+\frac{\lambda }{2}{\theta }^T\theta \\ \\ \\ \frac{\partial E}{\partial \theta }& =\frac{1}{2}(-X^{T}y-X^{T}y+2X^{T}X\theta )+\lambda \theta \\ \\ & =X^T(X\theta -y)+\lambda \theta \end{array}$$

令微分为0，得到解析解：

$$\begin{array}{rl}\frac{\partial E}{\partial \theta }& =X^T(X\theta -y)+\lambda \theta \\ \\ & =-X^{T}y+X^{T}X\theta +\lambda \theta \\ \\ & =0\\ \\ \\ \theta & =(X^{T}X+\lambda I{)}^{-1}{X}^{T}y\end{array}$$

其中 $I$ 为 单位矩阵 (主对角线元素全部为1，其余元素全部为0)

1.2 梯度下降法求解岭回归

岭回归 中的 参数更新表达式：

$${\theta }_j:={\theta }_j-\eta \sum _{i=1}^n(f_{\theta }(x^{(i)}-y^{(i)}))x_j^{(i)}-\eta \lambda {\theta }_j$$

向量化表示参数更新表达式：

$$\theta :=\theta -\eta X^T(X\theta -y)-\eta \lambda \theta$$

1.3 岭回归 代码

# 岭回归解析解
def ridge_reg(x, y, lam=0.2):
    deno = X.T * X + np.eye(X.shape[1]) * lam
    return deno.I * (X.T * Y)

2. LASSO回归

2.1 LASSO回归 L1正则化

与岭回归相似，LASSO回归 同样是通过添加正则项来改进朴素最小二乘法，其采用的时 L1正则化，也就是添加了 惩罚项 $\frac{\lambda }{2}||\theta |{|}_1$，即 $\frac{\lambda }{2}\sum _{j=1}^d|{\theta }_j|$ .

此时，损失函数 如下：

$$E=\frac{1}{2}\sum _{i=1}^n(y^{(i)}-f_{\theta }(x^{(i)}){)}^2+\frac{\lambda }{2}\sum _{j=1}^d|{\theta }_j|$$

求偏微分：

$$\frac{\partial E}{\partial {\theta }_j}=\sum _{i=1}^n(f_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}+\{\begin{array}{ll}-\lambda & {\theta }_j<0\\ [-\lambda ,\lambda ]& {\theta }_j=0\\ \lambda & {\theta }_j>0\end{array}$$

令偏微分为0：

$${\theta }_k=\{\begin{array}{ll}\frac{p_k+\frac{\lambda }{2}}{z_k}& p_k<\frac{\lambda }{2}\\ 0& -\frac{\lambda }{2}\le p_k\le \frac{\lambda }{2}\\ \frac{p_k-\frac{\lambda }{2}}{z_k}& p_k>\frac{\lambda }{2}\end{array}$$

参考文章

机器学习算法实践-岭回归和LASSO

岭回归、LASSO回归（包括公式推导）