Lasso Regression

Lasso回归是一种比较常见的回归，它是线性回归的一种，这种回归使用了一种收缩（shrinkage）的技术。收缩是数据朝着中心值进行压缩的行为。其全程为Least Absolute Shrinkage and Selection Operator，翻译为中文就是最小绝对收缩和运算符选择。

Lasso回归产生一种简单稀疏的回归。这种回归特别适合于共线性情况比较厉害的情况。

Lasso回归的方程是：

(1)

从公式1可以看到 是线性回归部分，表示估计方程与测量值之间的偏差。后面是一个惩罚函数，用来达到收缩的目的，当越大的时候，估计方程参数会越接近于0。在估计的过程中，要求的效果是公式1的最小值是什么。