线性回归为什么加正则项

线性回归为什么加正则项

https://blog.csdn.net/nkufang/article/details/129648037

https://zhuanlan.zhihu.com/p/410358244

 

1 正则项的含义

在线性回归中，正则项是一种用于控制模型复杂度的技术，它通过将系数的大小加入到损失函数中，以限制模型的复杂度。在线性回归中，通常使用L1正则项或L2正则项。正则项的形式可以表示为：

L1正则项（Lasso）：

 L2正则项（Ridge）：

 

 L1正则项将系数的绝对值之和作为正则化项，可以促使模型中的某些系数变为0，从而实现特征选择的效果。这意味着，L1正则项可以在模型中选择最重要的特征，从而提高模型的泛化能力。

L2正则项将系数的平方和作为正则化项，可以防止模型中的系数过大，从而减少模型的过拟合。L2正则项在许多机器学习任务中都被广泛使用。
 链接：https://blog.csdn.net/nkufang/article/details/129648037

 这就意味着，在模型拟合中，将会寻找模型在训练集的表现与模型复杂度之中的平衡点。在实践中，通常使用交叉验证来选择最佳的正则化参数 λ \lambda λ，以获得最好的性能和泛化能力。正则项是一种非常有效的技术，可以帮助解决过拟合问题，并提高模型的泛化能力。
链接：https://blog.csdn.net/nkufang/article/details/129648037