机器学习中正则化项L1和L2的直观理解

机器学习中正则化项L1和L2的直观理解

一、总结

一句话总结：

l1正则化：$$\operatorname { cost } = ( Wx - \text { real } y ) ^ { 2 } + \text { abs } ( W )$$

l2正则化：$$\operatorname { cost } = ( W x - \text { real } y ) ^ { 2 } + ( W ) ^ { 2 }$$

L1正则化是指权值向量w中各个元素的绝对值之和，通常表示为∣∣w∣∣1
L2正则化是指权值向量w中各个元素的平方和然后再求平方根（可以看到Ridge回归的L2正则化项有平方符号），通常表示为∣∣w∣∣2

 

1、L1正则化和L2正则化的作用？

L1正则化可以产生稀疏权值矩阵，即产生一个稀疏模型，可以用于特征选择

L2正则化可以防止模型过拟合（overfitting）；一定程度上，L1也可以防止过拟合

 

 

 

二、机器学习中正则化项L1和L2的直观理解

转自或参考：机器学习中正则化项L1和L2的直观理解
https://blog.csdn.net/jinping_shi/article/details/52433975