L1和L2正则

L1和L2在不同领域的不同叫法

机器学习领域：正则化项

统计学领域：惩罚项

数学领域：范数

Lasso和Ridge回归

在Lasso回归中正则化项是用的L1，L1是绝对值距离也叫做哈曼顿距离。Lasso回归可以压缩一些系数，把一些系数变为0，是一种处理具有复共线性数据的有偏估计。

在Ridge回归中正则化项是用的L2，L2是平方距离也叫做欧式距离。是一种专门应用于共线性数据的回归方法。

对于L1和L2都有一个公共的参数lambda,lambda可以通过交叉验证(cv)来确定。

实现参数的稀疏有什么好处？

可以简化模型，防止过拟合。因为一个模型中真正有用的参数并不多，如果考虑所有的参数可能在训练数据集上表现的很好，但在测试集上则不好。另外，参数少使整个模型可以得到更好的解释。

参数值越小代表模型越简单吗？

是的。因为模型越复杂越是会对所有样本进行拟合，所以有些异常点也进行了拟合，这就会导致较小的区间里引起的波动比较大。所以复杂的模型，参数值会比较大。

总结

L1会趋向于产生少量的特征，而其他的特征都是0，而L2会选择更多的特征，这些特征都会接近于0。Lasso在特征选择时候非常有用，而Ridge就只是一种规则化而已。在所有特征中只有少数特征起重要作用的情况下，选择Lasso比较合适，因为它能自动选择特征。而如果所有特征中，大部分特征都能起作用，而且起的作用很平均，那么使用Ridge也许更合适