在线性回归中讲述了原理，为了防止过拟合经常会加入正则化项。常用的正则化有L1正则化和L2正则化。
1.LASSO回归
加入L1正则化项的线性回归就叫LASSO回归。L1正则化项即是参数的L1范数，通俗点说，就是参数向量各个分量取绝对值的加和，即，对于\(\theta=(\theta_0, \theta_1, \cdots, \theta_n)^T\)参数向量，L1正则化项为：
\[\left \| \theta \right \|_1 = \sum_{j=0}^n | \theta_j |
\]
通常会加入一个系数\(\lambda\)来调节正则化项的权重，因此LASSO回归的目标函数（损失函数）为：
\[J(\theta) = \frac{1}{2}\sum_{i=1}^m(h(x^{(i)})-y^{(i)})^2 + \lambda \sum_{j=0}^n | \theta_j | = \frac{1}{2}\left(X\theta-Y\right)^T\left(X\theta-Y\right) + \lambda\left \| \theta \right \|_1
\]
LASSOS回归可以使得一些特征的系数为零（即某些\(\theta_j\)为零），即得到稀疏解。
由于\(|\theta_j|\)求不了导，所以在实际应用中，可以寻求近似解。对于函数\(f(x;\alpha) = x + \frac{1}{\alpha}\log(1+\exp(-\alpha x)), x\ge 0\)，绝对值可以近似表示为：
\[\begin{aligned}
|x| &\approx f(x;\alpha) + f(-x;\alpha)\\
& = x + \frac{1}{\alpha}\log(1+\exp(-\alpha x)) - x + \frac{1}{\alpha}\log(1+\exp(\alpha x))\\
& = \frac{1}{\alpha}\left(\log(1+\exp(-\alpha x)) + \log(1 + \exp(\alpha x))\right)\\
\end{aligned}
\]
因此，\(|x|\)的梯度和二阶导可以通过上面的近似表达式求得：
\[\begin{aligned}
\nabla |x| &\approx \frac{1}{\alpha}\left( \frac{-\alpha \exp(-\alpha x)}{1+\exp(-\alpha x)} + \frac{\alpha \exp(\alpha x)}{1+\exp(\alpha x)} \right)\\
&=\frac{\exp(\alpha x)}{1+\exp(\alpha x)} - \frac{\exp(-\alpha x)}{1+\exp(-\alpha x)}\\
&=\left( 1 - \frac{1}{1+\exp(\alpha x)} \right) - \left( 1 - \frac{1}{1+\exp(-\alpha x)} \right)\\
& = \frac{1}{1+\exp(-\alpha x)} - \frac{1}{1+\exp(\alpha x)}\\
\nabla^2 |x| &\approx \nabla( \frac{1}{1+\exp(-\alpha x)} - \frac{1}{1+\exp(\alpha x)})\\
&=\frac{\alpha\exp(-\alpha x)}{(1+\exp(-\alpha x))^2} + \frac{\alpha \exp(\alpha x)}{(1+\exp(\alpha x))^2}\\
&=\frac{\alpha\frac{1}{\exp(\alpha x)}}{(1+\frac{1}{\exp(\alpha x)})^2} + \frac{\alpha \exp(\alpha x)}{(1+\exp(\alpha x))^2}\\
&=\frac{\alpha\exp(\alpha x)}{(1+\exp(\alpha x))^2} + \frac{\alpha \exp(\alpha x)}{(1+\exp(\alpha x))^2}\\
&=\frac{2\alpha \exp(\alpha x)}{(1+\exp(\alpha x))^2}
\end{aligned}
\]
对于一般的问题，\(\alpha\)一般取\(10^6\)。
利用近似梯度，可得到目标函数的一次导数为：
\[\frac{\partial J(\theta)}{\partial \theta} \approx X^TXθ−X^TY + \frac{\lambda}{1+\exp(-\alpha \theta)} - \frac{\lambda}{1+\exp(\alpha \theta)}
\]
显然令导数为零也不好求得\(\theta\)的值，所以一般都是用坐标轴下降法和最小角回归法来求解。
2.Ridge回归
Ridge回归就是加入L2正则化项的线性回归。L2正则化项即是参数的L2范数，对于\(\theta=(\theta_0, \theta_1, \cdots, \theta_n)^T\)参数向量，L2正则化项为：
\[\left \| \theta \right \|_2^2 = \sum_{j=0}^n \theta_j^2
\]
Ridge回归的目标函数（损失函数）为：
\[J(\theta) = \frac{1}{2}\sum_{i=1}^m(h(x^{(i)})-y^{(i)})^2 + \lambda \sum_{j=0}^n \theta_j^2 = \frac{1}{2}\left(X\theta-Y\right)^T\left(X\theta-Y\right) + \frac{1}{2}\lambda\left \| \theta \right \|_2^2
\]
式中第二个\(\frac{1]{2}\)是为了后面计算方便加入。Ridge回归不抛弃任何特征的系数（即\(\theta_j\)不为零），使得回归系数变小，相对比较稳定，但与LASSO回归比则保留的特征比较多。
Ridge回归的目标函数的一次导为：
\[\begin{aligned}
\frac{\partial J(\theta)}{\partial \theta} &= \frac{\partial}{\partial \theta}\left(\frac{1}{2}\left(X\theta-Y\right)^T\left(X\theta-Y\right) + \frac{1}{2}\lambda\left \| \theta \right \|_2^2\right)\\
&=X^TXθ−X^TY + \frac{\partial}{\partial \theta}\left( \frac{1}{2}\lambda\left \| \theta \right \|_2^2 \right)\\
&=X^TXθ−X^TY + \frac{\partial}{\partial \theta}\left( \frac{1}{2}\lambda \theta^T\theta \right)\\
&=X^TXθ−X^TY + \lambda \theta
\end{aligned}
\]
令导数为零，可求得\(\theta\)的值：
\[\theta = (X^TX+\lambda I)^{-1}X^TY
\]
可见得到的结果与线性回归里描述的解析解中加入扰动结果一致。
