欠拟合与过拟合技术总结

前言：

机器学习的模式是通过大量的数据喂给一个模型，模型会根据数据不断调整自身参数，最终具备判别这些数据的模式或特征的能力。若模型无法从这些数据中训练出一个很好的效果，则认为它是欠拟合。若模型在训练的时候达到很好的效果，而在未参与训练的数据上测试，效果不好，则认为它是过拟合。

在本文，将介绍欠拟合与过拟合的概念、特点、产生的原因、解决的方法。在认真阅读本文后，读者将会对欠拟合与过拟合有个全面的认识。

关注公众号CV技术指南，及时获取更多计算机视觉技术总结文章。

欠拟合与过拟合的概念

在训练模型的过程中，我们通常希望达到以下两个目的：

1. 训练的损失值尽可能地小。

2. 训练的损失值与测试的损失值之间的差距尽可能地小。

当第一个目的没有达到时，则说明模型没有训练出很好的效果，模型对于判别数据的模式或特征的能力不强，则认为它是欠拟合的。

当第一个目的达到，第二个没有达到时，说明模型训练出了很好的效果，而测试的损失值比较大，则说明模型在新的数据上的表现很差，此时可认为模型过度拟合训练的数据，而对于未参与训练的数据不具备很好的判别或拟合能力，这种情况下，模型是过拟合的。

用一个通俗的例子来说明：

假定你家里安排你去相亲，告诉你女方在某某餐厅等你。

若你家里人告诉你，女方穿裙子，披肩长发。结果你进去，发现有好几个位置都是穿裙子、披肩长发的女生，此时你无法判断是哪一个，这说明你了解女生身上的特征不够多，是欠拟合的。

若你家里人告诉你，女方穿裙子，戴了个帽子，披肩长发，手机壳是哆啦A梦，眉角有颗痣。结果女方觉得餐厅太热，进餐厅没多久就脱了帽子，你进去后发现有一个女生其它条件都符合，就是没戴帽子，你就因此认定她不是你相亲对象，这说明你了解的女生的特征太多，对于稍微有点不同的特征，你就做出了错误判断，这是过拟合的。

若家里人告诉你，女方穿裙子，披肩长发，眉角有颗痣。你进去后发现，虽然穿裙子的有好几个，披肩长发的也不少，但眉角有痣的就那一位，即便那位还戴了个帽子，也不妨碍你认为她就是你相亲对象，于是你准确地走到了她面前开始了尴尬的交流，这是合理的拟合。

在这个例子中，裙子，披肩长发都是女生很普遍的特征，眉角的痣和裙子、披肩长发的组合是她特有的特征，手机壳和戴帽子这属于偶然的特征，不能因为她换了手机壳或没戴帽子就不认识这人了。过拟合在于将偶然的特征也作为识别身份的标志，而欠拟合在于了解的特征的特征不够多，在机器学习中表示模型的学习能力不够，无法学到足够的数据特征。

欠拟合的特点：训练的损失值很大，且测试的损失值也很大。

过拟合的特点：训练的损失值足够小，而测试的损失值很大。

对于一个足够复杂度或足够参数量的模型或神经网络来说，随着训练的进行，会经历一个“欠拟合-适度拟合-过拟合”的过程。

对于一个复杂度不够的模型或参数量太少的神经网络来说，只有欠拟合。