正则化是干嘛的

正则化是一种常用的机器学习技术，用于防止模型过拟合。当训练模型时，如果模型过于复杂或者训练数据较少，就容易导致过拟合现象，即模型在训练数据上表现很好，但在新数据上表现较差。为了解决这个问题，可以引入正则化技术。

正则化通过在损失函数中添加一个正则项来实现，这个正则项通常是模型参数的范数。常见的正则化方法有L1正则化和L2正则化。

加入正则化的时机通常是在训练模型之前，通过调整正则化参数来控制正则化的强度。当训练数据较少或者模型复杂度较高时，可以考虑加入正则化来避免过拟合问题。

L1正则化和L2正则化是常用的正则化方法，用于在机器学习和统计学中控制模型的复杂度，区别主要体现在正则化项的计算方式和对模型参数的影响上。

 

L1正则化（也称为Lasso正则化）通过在目标函数中添加参数的绝对值之和来惩罚模型的复杂度。

数学表达式为：λ * ||w||1，其中λ是正则化强度，w是模型的参数。

L1正则化倾向于产生稀疏解，即将一些参数置为0，从而实现特征选择的效果。这是因为L1正则化具有将不重要的特征权重降低到0的能力。

L2正则化（也称为Ridge正则化）通过在目标函数中添加参数的平方和来惩罚模型的复杂度。

数学表达式为：λ * ||w||2^2，其中λ是正则化强度，w是模型的参数。

L2正则化倾向于产生较小但非零的参数值，对所有特征都进行了一定程度的惩罚，但没有将参数完全置为0。L2正则化有助于减小模型的过拟合风险，并提高模型的泛化能力。

 

 

L1正则化倾向于产生稀疏解，适用于特征选择和稀疏性要求较高的场景；

而L2正则化倾向于产生较小但非零的参数值，适用于降低模型复杂度和减小过拟合风险的场景。