L1和L2正则化的基本思想

L1和L2正则化的基本思想

在进入正则化概念之前。仔细查看图 1，我们知道欠拟合或过拟合对我们的模型不利。因此，保持理想平衡的一种方法是减小维度。

Figure 1

什么是正则化？

• 这是一种解决机器学习中过度拟合的方法
• 过拟合模型无法泛化对测试数据的估计
• 正则化降低了模型的方差

我们通过消除不重要的特征来减少维度。每个特征都有一个权重。我们给这些特征的权重一个很小的数字或将其视为零。有两种技术可以实现这一点，即 L1 和 L2。

套索回归 (L1)

它将防止权重变得太大。较大的权重意味着更多的复杂性并导致过度拟合。没有必要更多的权重意味着对特征更重要。 L1 在权重中引入了稀疏性。它将迫使不太重要的特征的权重为零，从而降低所有权重的平均大小。同样，在 L2 中，它强制权重要小得多。

Figure 2

其中 Lambda 是一个超参数。

我们怎样才能使权重为零？

这里损失或成本函数出现了。损失函数应该始终是必须优化的最小值。

Figure 3

• 如果 lambda 值太高——欠拟合
• 如果 lambda 值低——过拟合

岭回归 (L2)

Figure 4

这个 L2 还可以防止权重变得太大。它通过将权重转换为较小的数字来实现。并非所有功能都已更改。

Figure 5

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明

本文链接：https://www.qanswer.top/18548/22460609